[論文レビュー] The Diffusion Geometry of Fibre Bundles: Horizontal Diffusion Maps

Tingran Gao|arXiv (Cornell University)|Feb 7, 2016

Topological and Geometric Data Analysis参考文献 70被引用数 3

ひとこと要約

本稿では、接続を持つファイバー束としてデータセットをモデル化することで、構造的対応関係を有するデータに拡張された非パrametric枠組み、水平拡散マップ（HDM）を提案する。単位接束上での水平拡散過程を組み込むことで、HDMは部分リーマン幾何を捉え、漸近的に水平ラプラシアンに収束する。これにより、関数的対応関係を有する複雑な高次元データにおける次元削減が向上する。

ABSTRACT

Kernel-based non-linear dimensionality reduction methods, such as Local Linear Embedding (LLE) and Laplacian Eigenmaps, rely heavily upon pairwise distances or similarity scores, with which one can construct and study a weighted graph associated with the dataset. When each individual data object carries additional structural details, however, the correspondence relations between these structures provide extra information that can be leveraged for studying the dataset using the graph. Based on this observation, we generalize Diffusion Maps (DM) in manifold learning and introduce the framework of Horizontal Diffusion Maps (HDM). We model a dataset with pairwise structural correspondences as a fibre bundle equipped with a connection. We demonstrate the advantage of incorporating such additional information and study the asymptotic behavior of HDM on general fibre bundles. In a broader context, HDM reveals the sub-Riemannian structure of high-dimensional datasets, and provides a nonparametric learning framework for datasets with structural correspondences.

研究の動機と目的

• 高次元データに内部構造を有する場合の標準的拡散マップの、複雑なスカラーでない対応関係を捉える能力の制限を是正すること。
• データオブジェクトを基底多様体上の点、その内部構造（例：形状の特徴点、画像ピクセル）をファイバー束のファイバーとしてモデル化すること。
• スカラー距離だけでなく、構造的要素間の対応関係を活用するグラフベースの手法を開発し、幾何学的学習を改善すること。
• 単位接束上の水平ラプラシアンへのHDMの漸近的収束を確立し、理論的整合性を保証すること。
• 単純なグラフ抽象化を超えた、多重的・多様的・時間変化する関係を有するデータセットを分析するためのフレームワークを提供すること。

提案手法

• データオブジェクトを基底多様体上の点、内部データポイント（例：特徴点）をファイバーとするファイバー束としてデータセットをモデル化し、接続を用いて構造的対応関係を符号化する。
• 基底多様体の単位接束（UTM）上で水平ランダムウォークを定義し、平行移動を用いてファイバー間で情報を伝搬する。
• 基底多様体間の距離と、輸送されたファイバー点間の距離に依存するカーネル関数を用いて、グラフ水平ラプラシアンを構築する。
• ベース距離 $ \|\xi_i - \xi_j\|^2 / \epsilon $ と水平輸送誤差 $ \|P_{\xi_j,\xi_i} \bar{\tau}_{i,r} - \bar{\tau}_{j,s}\|^2 / \delta $ を組み合わせた二重スケールカーネル $ K_{\rho,\rho}(\tau_i, \tau_j) $ を使用する。
• UTM 上での水平および垂直拡散作用素の無限小生成子を導出し、漸近的条件下で水平ラプラシアン $ \Delta_{UTM}^H $ に収束することを示す。
• 大数の法則と誤差項 $ \epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2} $ を含む誤差境界を用いて収束速度を確立し、補正項は $ \delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2}) $ のスケーリングを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようにして拡散マップを、データ構造間の非スカラー的・関数的対応関係を組み込むように一般化できるか？
• RQ2 接続を持つ一般のファイバー束上での提案された水平拡散マップ（HDM）の漸近的挙動は何か？
• RQ3 構造的対応関係の組み込みが、標準的拡散マップと比較して高次元データの幾何的表現をどのように改善するか？
• RQ4 有限サンプリング下での経験的HDM作用素が、その母集団作用素に収束する速度は何か？
• RQ5 HDMは、複雑な内部構造を有するデータの下位の部分リーマン幾何を回復できるか？

主な発見

• HDMは、補正項が $ \epsilon \cdot \frac{m_{21}}{2m_0} \Delta_{UTM}^H $ および $ \delta \cdot \frac{m_{22}}{2m_0} \Delta_{UTM}^V $ のスケーリングを示す単位接束上での水平ラプラシアン $ \Delta_{UTM}^H $ に漸近的に収束する。
• 経験的HDM作用素 $ \hat{H}_{\epsilon,\delta}^{(\alpha)} $ は、真の作用素 $ \tilde{H}_{\epsilon,\delta}^{(\alpha)} $ に誤差 $ O(\delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2})) $ で収束し、条件 $ \delta^{-1}(\epsilon_{\text{PCA}}^{1/2} + \epsilon^{3/2}) \to 0 $ の下で $ \epsilon \to 0 $ のとき誤差が消える。
• 水平拡散を単位接束上で行うことで、HDMは高次元データにおける部分リーマン構造を効果的に捉える。
• 数値実験により理論的収束速度が確認され、複雑な形状対応関係を有する幾何学的モルフォメトリクスデータにおいて優れた性能が示された。
• データオブジェクト間の最適対応関係に符号化されたより豊かな幾何学的・構造的情報を保持する点で、標準的拡散マップを上回る。
• 理論的分析により、UTM 上のカーネルベースHDM作用素は、漸近的に水平拡散過程を近似でき、誤差はPCAノイズとバンド幅項によって有界であることが示された。