[論文レビュー] Non-linear dimensionality reduction: Riemannian metric estimation and the problem of geometric discovery

Dominique Perraul-Joncas, Marina Meilă|arXiv (Cornell University)|May 30, 2013

Morphological variations and asymmetry参考文献 3被引用数 23

ひとこと要約

本稿では、埋め込み出力からリーマン計量を推定することで、非線形次元削減の過程でデータ多様体の内在的幾何を保持するフレームワークを提案する。ラプラシアン＝ベルトラミ作用素を用いることで、埋め込み空間における距離、角度、体積の正確な計算が可能となり、選択された埋め込みアルゴリズムにかかわらず幾何的忠実性が保証される。体積推定と歪み補正の面で顕著な改善が示された。

ABSTRACT

In recent years, manifold learning has become increasingly popular as a tool for performing non-linear dimensionality reduction. This has led to the development of numerous algorithms of varying degrees of complexity that aim to recover man ifold geometry using either local or global features of the data. Building on the Laplacian Eigenmap and Diffusionmaps framework, we propose a new paradigm that offers a guarantee, under reasonable assumptions, that any manifo ld learning algorithm will preserve the geometry of a data set. Our approach is based on augmenting the output of embedding algorithms with geometric informatio n embodied in the Riemannian metric of the manifold. We provide an algorithm for estimating the Riemannian metric from data and demonstrate possible application s of our approach in a variety of examples.

研究の動機と目的

• 幾何的忠実性に基づいて多様体学習アルゴリズムを比較・選択する整合的なフレームワークの欠如に対処すること。
• 大多数の多様体学習アルゴリズムが距離や角度などの内在的幾何的性質を保存できないという制限を克服すること。
• 任意の埋め込みにリーマン計量を追加する一般化された手法を提供し、埋め込み座標における正確な幾何計算を可能にすること。
• 元の多様体と埋め込み多様体の間の等長性を保証するように、データからリーマン計量 $ g $ を回復する理論的・アルゴリズム的基盤を確立すること。
• 距離、角度、体積といった幾何的量が、学習済み計量を用いることで埋め込み空間で信頼性高く推定できることを示すこと。

提案手法

• 埋め込みデータにラプラシアン＝ベルトラミ作用素を適用し、多様体 $ \mathcal{M} $ 上のリーマン計量 $ g $ を推定する。
• 埋め込み写像 $ f $ を用いて、リーマン計量を新しい座標系に引き戻し、埋め込み空間における幾何計算を可能にする。
• 局所的PCAを適用して接平面を推定し、近傍における計量推定を向上させ、射影に起因する歪みを低減する。
• 集合を接平面に射影する際の歪みを補正する体積推定子 $ \hat{\text{Vol}}(W) $ を開発し、単純な推定子よりも精度を向上させる。
• 引き戻し計量を用いて、埋め込み写像 $ f $ が元の幾何に与える歪み、特に $ r \sim s $ の場合の挙動を分析する。
• 既存の多様体学習アルゴリズムに、幾何的忠実性を保証する計量推定を後処理として統合し、埋め込み選択と幾何的忠実性の分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 非線形次元削減後にデータ多様体の内在的幾何を保持する一般化された手法を開発できるか？
• RQ2 距離や角度といった幾何的量が埋め込み空間で保たれるように、データからリーマン計量を推定する方法は何か？
• RQ3 提案手法による計量推定は、標準的な埋め込み手法と比較して、体積推定などの幾何的推論の精度をどの程度向上させるか？
• RQ4 埋め込み写像が引き起こす歪みを分析する際に、引き戻し計量はどのような場面で有用か？
• RQ5 提案されたフレームワークにより、ユーザーは幾何的保存性を無視しても埋め込みアルゴリズムを選べるようになり、計量推定ステップが幾何的忠実性を回復することが保証されるか？

主な発見

• 体積推定子 $ \hat{\text{Vol}}(W) $ は、特に接平面への射影において、単純な推定子よりも顕著に優れた性能を示す。
• リーマン計量推定手法により幾何的計算の歪みが低減され、LTSAでは局所的PCAによる接平面推定の不正確さに起因する高い誤差が観察された。
• 提案手法により、埋め込み空間における距離や角度といった幾何的量が、元の生データにおけるそれらとほぼ等しくなることが保証される。
• ラプラシアン＝ベルトラミ作用素により、任意の座標系でリーマン計量 $ g $ を一貫して回復可能であり、幾何的回復の統一的枠組みを提供する。
• 引き戻し計量は、特に環境次元 $ r $ がそれほど大きくない場合に、埋め込み写像が元の幾何に与える歪みの挙動を的確に解明する貴重な洞察を提供する。
• フレームワークにより、ユーザーは埋め込みアルゴリズムの選択を幾何的忠実性とは独立にできる。計量推定ステップが、埋め込み選択にかかわらず幾何的保存性を保証するからである。