[論文レビュー] Geodesic Distance Estimation with Spherelets

Didong Li, David B. Dunson|arXiv (Cornell University)|Jun 29, 2019

Advanced Statistical Methods and Models参考文献 33被引用数 15

ひとこと要約

本稿では、未知の多様体の局所的球面近似（spherelets）を用いた、統計的学習タスクにおける精度向上を目的とした新しい測地線距離推定手法を提案する。ユークリッド距離や線形近似に比べて局所的な曲率をより効果的にモデル化することで、合成データおよび実世界のデータセットにおいて、クラスタリング、密度推定、回帰の各タスクで低い誤差と優れた性能を達成し、共分散補正型およびグラフベースの手法を含む最先端の代替手法を上回る。

ABSTRACT

Many statistical and machine learning approaches rely on pairwise distances between data points. The choice of distance metric has a fundamental impact on performance of these procedures, raising questions about how to appropriately calculate distances. When data points are real-valued vectors, by far the most common choice is the Euclidean distance. This article is focused on the problem of how to better calculate distances taking into account the intrinsic geometry of the data, assuming data are concentrated near an unknown subspace or manifold. The appropriate geometric distance corresponds to the length of the shortest path along the manifold, which is the geodesic distance. When the manifold is unknown, it is challenging to accurately approximate the geodesic distance. Current algorithms are either highly complex, and hence often impractical to implement, or based on simple local linear approximations and shortest path algorithms that may have inadequate accuracy. We propose a simple and general alternative, which uses pieces of spheres, or spherelets, to locally approximate the unknown subspace and thereby estimate the geodesic distance through paths over spheres. Theory is developed showing lower error for many manifolds, with applications in clustering, conditional density estimation and mean regression. The conclusion is supported through multiple simulation examples and real data sets.

研究の動機と目的

• データが非線形多様体に近接する場合、ユークリッド距離が内在的な幾何的構造を捉えきれないという制限に対処すること。
• 測地線距離推定において、局所的線形近似や複雑なグラフベースのアルゴリズムの不正確さを克服すること。
• 計算効率が良く、曲率を考慮した方法として、グローバルな測地線距離の近似を改善すること。
• 測定誤差や統計的ノイズに敏感な従来の手法に対する、頑健な代替手法を提供すること。
• 多様な実データおよびシミュレートされたデータセットにおいて、クラスタリング、条件付き密度推定、平均回帰の分野で一貫した性能向上を実証すること。

提案手法

• 局所的な多様体構造を球面の断片（spherelets）で近似する。これは非ゼロの曲率を自然に扱える。
• 各データポイントに対して、最小二乗法による球面フィッティング手順を用いて、その近傍に局所的な球面を適合させる。
• 2点間の測地線距離を、球面上の最短経路（球面の弧長公式）を用いて計算する。
• グローバルな測地線距離は、エッジがsphereletに基づく距離で重み付けされたグラフ上で最短経路アルゴリズムを用いて推定する。
• 従来の測地線距離パイプラインにスムーズに統合可能であり、グラフベースの最短経路計算におけるユークリッド距離を置き換えることができる。
• 測定誤差を許容するように設計されており、データポイントを多様体からの摂動とみなすことにより、実用的なかつての頑健性を高めている。

実験結果

リサーチクエスチョン

• RQ1 曲がった多様体上では、線形近似やユークリッド近似に比べ、sphereletに基づく局所的近似が測地線距離推定の精度を向上させるか？
• RQ2 共分散補正型およびグラフベースの手法と比較して、本手法は最先端の測地線距離推定器としてどのように性能を発揮するか？
• RQ3 クラスタリング、条件付き密度推定、回帰といった下流の統計的タスクにおいて、本手法はどの程度改善をもたらすか？
• RQ4 実世界の設定において、測定誤差や非一様なデータ密度に対して、本手法はどの程度頑健か？
• RQ5 sphereletアプローチは、既存の多様体学習およびカーネルベースの学習フレームワークに効率的にスケーリングされ、統合可能か？

主な発見

• 条件付き密度推定において、球面に基づく測地線距離推定器は、ログリクアリティスコアの観点から、ユークリッド距離、グラフ-ユークリッド距離、共分散補正型手法を顕著に上回った。この結果は、Combined Cycle Power PlantおよびConcrete Compressive Strengthデータセットで得られた。
• Combined Cycle Power Plantデータにおいて、球面グラフ距離は100回の繰り返しにおいて最高のログリクアリティスコアの合計値を達成し、密度推定の精度が優れていることを示した。
• 平均回帰タスクでは、spherelet距離を用いた測地線カーネル回帰が、最小二乗平均平方誤差（RMSE）を達成し、予測性能の向上を示した。
• 非線形予測子構造を有する複数の実世界データセットにおいて、本手法は一貫した改善を示した。一方、ユークリッド距離は、内在的な幾何構造を捉えられず、性能が著しく劣った。
• 特に高曲率領域や低密度領域において、競合手法に比べて本手法は測定誤差に対してより頑健であることが判明した。
• 理論的分析により、非ゼロ曲率を示す多様体の広いクラスにおいて、spherelet手法の近似誤差が低くなることが支持された。