[論文レビュー] Manifold Learning with Geodesic Minimal Spanning Trees

Jose A. Costa, Alfred O. Hero|ArXiv.org|Jul 16, 2003

Morphological variations and asymmetry参考文献 30被引用数 24

ひとこと要約

本稿では、多様体の再構築や密度推定を必要とせず、データ多様体の内在次元およびRényi αエントロピーを同時に推定する、幾何確率的手法としてGeodesic-Minimal Spanning Tree (GMST)を提案する。完全グラフからの測地的距離を用いて最小全域木を構築し、再サンプリングによるデータサイズの変化に伴うMST長のスケーリング挙動を線形最小二乗法およびモーメント法を用いて解析することで、O(N log N)の計算量で一貫性のある推定が可能となる。

ABSTRACT

In the manifold learning problem one seeks to discover a smooth low dimensional surface, i.e., a manifold embedded in a higher dimensional linear vector space, based on a set of measured sample points on the surface. In this paper we consider the closely related problem of estimating the manifold's intrinsic dimension and the intrinsic entropy of the sample points. Specifically, we view the sample points as realizations of an unknown multivariate density supported on an unknown smooth manifold. We present a novel geometrical probability approach, called the geodesic-minimal-spanning-tree (GMST), to obtaining asymptotically consistent estimates of the manifold dimension and the Rényi $α$-entropy of the sample density on the manifold. The GMST approach is striking in its simplicity and does not require reconstructing the manifold or estimating the multivariate density of the samples. The GMST method simply constructs a minimal spanning tree (MST) sequence using a geodesic edge matrix and uses the overall lengths of the MSTs to simultaneously estimate manifold dimension and entropy. We illustrate the GMST approach for dimension and entropy estimation of a human face dataset.

研究の動機と目的

• i.i.d.標本点から得られる滑らかな多様体の内在次元およびRényi αエントロピーを、一貫性がありグローバルに推定する手法を開発すること。
• 多様体の再構築や多次元密度推定を回避することにより、計算コストが高く、ノイズに敏感な手法の必要を排除すること。
• 既存の局所的またはグローバルな多様体学習手法に対する、単純でパラメータフリーな代替手法を提供すること。
• 実世界のデータ、例えば顔画像多様体などに対して、本手法の一貫性および実用的有効性を示すこと。

提案手法

• ISOMAPやC-ISOMAPなどを用いて、すべての標本点間のグローバルな測地的距離行列を用いて完全な測地的グラフを構築する。
• 完全グラフから全測地的長さが最小となるように枝を刈り、Geodesic-Minimal Spanning Tree (GMST)を計算する。
• データサイズを段階的に増加させながら複数回再サンプリングし、平均GMST長の系列を生成する。
• 大規模なnに対して、平均GMST長とnの対数スケールの関係を線形モデルとして仮定し、勾配と切片を用いて内在次元およびRényi αエントロピーを推定する。
• 線形最小二乗法を用いて対数-対数モデルをフィットさせ、モーメント法を用いて次元mおよびエントロピーHを推定する。この際、大きなmに対してβmを近似する。
• 測地的距離行列におけるエッジ指数γを1に固定することで、一貫性のあるスケーリング挙動を保証する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.標本点から得られるグローバルでパラメータフリーな手法が、多様体の内在次元および内在エントロピーを同時に推定できるか？
• RQ2 再サンプリングによるデータサイズの変化に伴う測地的MST長のスケーリング挙動が、多様体の次元およびRényi αエントロピーの一致推定量として有効か？
• RQ3 ISOMAPや局所的手法と比較して、GMST手法の精度および計算量の複雑さはいかがなものか？
• RQ4 対数(GMST長)対対数(n)の線形スケーリングは漸近的に有効であり、顔画像のような実世界のデータに対しても成立するか？

主な発見

• Yale Face Database Bの3名の個人について、GMST手法により内在次元mはそれぞれ5〜6の間で推定され、各々6、5、6となった。
• 内在Rényi αエントロピー（底2）は、それぞれ70.4、68.8、73.8ビットと推定され、各顔多様体は約6パラメータでモデル化可能であることを示唆している。
• n ≥ 500の範囲で、GMST長対nの対数プロットが明確な線形性を示し、理論的漸近モデルの妥当性と線形最小二乗フィットの有効性が裏付けられた。
• 本手法はO(N log N)の計算量を達成しており、MDSに基づくISOMAPのO(N³)に比べて顕著に低い。
• 推定されたエントロピー値は、顔多様体が非常に圧縮可能であり、情報が低次元構造に集中していることを示唆している。
• 結果は理論的枠組みと整合しており、密度推定や多様体再構築を伴わず、次元とエントロピーを同時に推定できる本手法の有効性が示された。