[論文レビュー] Perturbation Bounds for Procrustes, Classical Scaling, and Trilateration, with Applications to Manifold Learning

Ery Arias-Castro, Adel Javanmard+1 more|arXiv (Cornell University)|Oct 22, 2018

Indoor and Outdoor Localization Technologies参考文献 45被引用数 12

ひとこと要約

本稿は、マニフォールド学習手法（Isomap、Landmark Isomap、Maximum Variance Unfoldingを含む）の中心的要素であるProcrustes解析、古典的スケーリング、および三辺測定法について、新たな摂動バウンドを確立する。著者らは、データの摂動下でのタイトな誤差バウンドを導出しており、これにより、これらのアルゴリズムの等長埋め込みバージョンに対する、初めての性能保証が可能になる。応用分野は、ノイズのある状況下でのロバストな次元削減に及ぶ。

ABSTRACT

One of the common tasks in unsupervised learning is dimensionality reduction, where the goal is to find meaningful low-dimensional structures hidden in high-dimensional data. Sometimes referred to as manifold learning, this problem is closely related to the problem of localization, which aims at embedding a weighted graph into a low-dimensional Euclidean space. Several methods have been proposed for localization, and also manifold learning. Nonetheless, the robustness property of most of them is little understood. In this paper, we obtain perturbation bounds for classical scaling and trilateration, which are then applied to derive performance bounds for Isomap, Landmark Isomap, and Maximum Variance Unfolding. A new perturbation bound for procrustes analysis plays a key role.

研究の動機と目的

• Isomap や MVU のような古典的マニフォールド学習アルゴリズムの理論的ロバストネスの理解の不足に対処すること。
• 局所化および次元削減のコアサブルーチンであるProcrustes解析、古典的スケーリング、および三辺測定法に対する厳密な摂動バウンドを導出すること。
• 導出した摂動バウンドを活用して、Isomap、Landmark Isomap、およびMaximum Variance Unfoldingの性能保証を確立すること。
• 特にノイズまたは汚損した距離データ下での、マニフォールド学習におけるランドマークベース手法のロバストネスの理論的基盤を提供すること。
• 入力の類似度行列に摂動が加わった場合の埋め込み手順の統計的安定性を分析し、測定誤差を伴う現実世界のデータへの応用を目的とする。

提案手法

• 行列摂動理論を用いて、直交Procrustes解析のための新しい摂動バウンドを導出。これは、以降のバウンドの主要な構築要素となる。
• 類似度行列の二重センター化後の固有値分解の感度を分析することで、古典的スケーリングの摂動バウンドを確立。
• de SilvaとTenenbaumの方法を用いた三辺測定法の摂動バウンドを提供。埋め込み誤差をランドマーク点の精度と距離ノイズの関数としてモデル化。
• 導出したバウンドを応用して、入力距離行列の摂動下におけるIsomap、Landmark Isomap、およびMaximum Variance Unfoldingのロバストネスを分析。
• 確率的行列理論（Tropp, 2015）からの集中不等式を用いて、ランダムに抽出されたランドマーク集合の半幅をバウンド。これにより、安定な埋め込みが保証される。
• 理論的バウンドと、経路長およびピタゴラス型不等式を含む幾何的議論を組み合わせ、三辺測定法における誤差伝搬を制御。

実験結果

リサーチクエスチョン

• RQ1 入力類似度行列の摂動に対して、古典的スケーリングはどの程度感度が高く、その結果生じる埋め込み誤差に対するタイトなバウンドは何か？
• RQ2 ランドマーク距離のノイズに対して三辺測定法のロバストネスはどの程度で、非ランドマーク点を埋め込む際の誤差はどのように伝搬するか？
• RQ3 Procrustes解析の摂動バウンドを用いて、Isomap や MVU のようなマニフォールド学習アルゴリズムの性能保証を導出可能か？
• RQ4 ランドマーク点の選択が、Landmark Isomap の安定性と正確性にどのように影響するか。また、信頼できる埋め込みを達成するためのサンプルサイズはどの程度か？
• RQ5 Isomap や MVU の等長埋め込みバージョンに対して、理論的性能保証は存在するか。また、それらはデータの摂動にどのように依存するか？

主な発見

• 本稿は、古典的スケーリングに対する、初の本格的な摂動バウンドを提示。Sibsonの一次近似（Taylor展開）を改善し、非漸近的かつ定量的な誤差バウンドを提供。
• 直交Procrustes解析のための新しい摂動バウンドが導出され、これは古典的スケーリングの安定性分析に不可欠であり、長年の使用にもかかわらず、本稿で初めての新規性を有する。
• 三辺測定法に関しては、幾何的制約下で、埋め込み誤差がノイズレベルの二乗に比例し、最小ランドマーク間距離に対して相対的に比例することを示す摂動バウンドを導出。
• Landmark Isomap の性能が厳密に分析され、バウンドにより、埋め込み誤差がランドマーク数と古典的スケーリングによるランドマーク埋め込みの安定性に依存することが示された。
• Isomap および Maximum Variance Unfolding の等長埋め込み形に対する理論的保証が確立され、これらアルゴリズムに対する、初めての性能バウンドを達成。
• 確率的行列の集中を用いてランドマーク選択の安定性が分析され、$\ell \gtrsim \frac{\rho_{\infty}^2}{\omega^2} \log d$ のオーダーのサンプルサイズが、高確率でデータの内在的幾何を保持するランドマーク集合を保証することが示された。