[論文レビュー] On the convergence of maximum variance unfolding

Ery Arias-Castro, Bruno Pelletier|arXiv (Cornell University)|Aug 31, 2012

Stochastic Gradient Optimization Techniques参考文献 29被引用数 12

ひとこと要約

本稿は、大標本極限における最大分散アンフォールディング（MVU）の理論的収束を確立し、下位多様体が凸領域に等長である場合にMVUが一貫して等長埋め込みを回復することを証明する。定量的な収束速度を提示し、非凸多様体上では失敗する条件を同定する一方で、ノイズに対しては頑健であることを示す。

ABSTRACT

Maximum Variance Unfolding is one of the main methods for (nonlinear) dimensionality reduction. We study its large sample limit, providing specific rates of convergence under standard assumptions. We find that it is consistent when the underlying submanifold is isometric to a convex subset, and we provide some simple examples where it fails to be consistent.

研究の動機と目的

• 離散的MVU最適化問題が大標本極限で連続的極限に収束することを確立すること。
• やや弱い正則性仮定の下でMVUの定量的収束速度を導出すること。
• 特に下位領域が凸である場合に、MVUが等長埋め込みを一貫して回復できる条件を特定すること。
• 等長性を回復できない幾何的条件を同定すること、すなわち、等長性が存在するにもかかわらずMVUがそれを回復できない状況。
• MVUがLLEやHLLEなどの他の非線形次元削減手法とは異なり、ノイズに対して頑健であることを示すこと。

提案手法

• 半径 $ r_n $ の近接グラフを用いて、離散的MVU問題を近接距離制約下での分散最大化問題として形式化する。
• 連続的極限として、リプシッツ連続関数 $ f: M \to \mathbb{R}^p $ における汎関数最適化を定義し、エネルギー $ \mathcal{E}(f) = \int_{M \times M} \|f(x) - f(x')\|^2 \, \mu(dx)\mu(dx') $ を最大化する。
• コンパクト性と $ r_n \to 0 $ の緩やかな減少の下で、離散解が連続解に収束することを、経験過程理論とUプロセスを用いて証明する。
• 幾何的・解析的道具を用いて、特に $ M $ が凸集合に等長である場合の連続的MVU問題の解空間を特徴付ける。
• 変分的議論とエネルギー比較（例：楕円や曲線の近傍）を用いて、非凸設定では恒等写像がエネルギーを最大化しないことを示す。
• エネルギー汎関数の2次近似と解写像のリプシッツ連続性を用いて、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 MVUは、大標本極限においてどのような条件下で一貫した等長埋め込みに収束するか？
• RQ2 標本サイズが増加する際、MVUエネルギーおよび解の定量的収束速度は何か？
• RQ3 下位領域が非凸である場合、MVUは等長性を回復できないのか？ もしそうならば、その理由は何か？
• RQ4 ノイズ下でのMVUの性能はいかがで、他の非線形次元削減手法（例：LLEやHLLE）と比較してより頑健か？
• RQ5 連続的MVU問題の解空間は、特に多様体 $ M $ が球面や円に等長である場合に完全に特徴付けられるか？

主な発見

• 下位部分多様体が $ \mathbb{R}^d $ の凸部分集合に等長である場合、やや弱い正則性および標本抽出仮定の下で、MVUは一貫しており、等長埋め込みを回復する。
• 追加の滑らかさ条件の下で、離散的から連続的極限へのエネルギー汎関数の収束速度が $ O(n^{-1/2}) $ であることを確立する。
• 非凸領域（例：線分にホメオモルフィックな曲線に $ \sigma $-近傍を加えたもの）ではMVUが等長性を回復できない。恒等写像がエネルギーを最大化しないからである。
• 固定周囲長の楕円で $ a > a_* $ の場合、恒等写像はエネルギーを最大化しない。これはMVUが元の領域を剛体変換を除いて回復できないことを示している。
• MVUはノイズに対して頑健である。データの小さな摂動に対してもエネルギー最大化が安定しており、LLE、HLLE、LTSAとは異なり、その性質を保つ。
• 連続的MVU問題の解空間は特徴付けられる：$ M $ が凸集合に等長である場合、最大化関数は $ \mathbb{R}^d $ への等長埋め込みに正確に一致する。