[論文レビュー] On Nonlinear Dimensionality Reduction, Linear Smoothing and Autoencoding

Daniel Ting, Michael I. Jordan|arXiv (Cornell University)|Mar 6, 2018

Optical Polarization and Ellipsometry参考文献 15被引用数 8

ひとこと要約

本稿は、非線形次元削減（NLDR）手法を統計における線形スムージング理論と結びつける理論的枠組みを確立し、収束する局所スペクトルNLDR手法が特定の境界条件を満たす微分方程式を漸近的に解することを示している。主なNLDR手法を分類する3つの極限微分作用素と境界条件を同定し、古典的手法の中で局所接空間整合化（LTSA）が等長埋め込みにおいて優位であることを証明した。

ABSTRACT

We develop theory for nonlinear dimensionality reduction (NLDR). A number of NLDR methods have been developed, but there is limited understanding of how these methods work and the relationships between them. There is limited basis for using existing NLDR theory for deriving new algorithms. We provide a novel framework for analysis of NLDR via a connection to the statistical theory of linear smoothers. This allows us to both understand existing methods and derive new ones. We use this connection to smoothing to show that asymptotically, existing NLDR methods correspond to discrete approximations of the solutions of sets of differential equations given a boundary condition. In particular, we can characterize many existing methods in terms of just three limiting differential operators and boundary conditions. Our theory also provides a way to assert that one method is preferable to another; indeed, we show Local Tangent Space Alignment is superior within a class of methods that assume a global coordinate chart defines an isometric embedding of the manifold.

研究の動機と目的

• 非線形次元削減（NLDR）手法を理解するための統一的理論的枠組みを構築すること。
• 既存のNLDR手法の関係性と相対的な性能、特に等長埋め込みの観点での違いを明確にすること。
• NLDRを統計的線形スムージング理論と結びつけ、新たな理論的知見とアルゴリズムの改善を可能にすること。
• 境界条件が満たされない場合でも滑らかさペナルティの収束を保つ一貫性のあるラプラシアン＝ベルトラミ近似を導出すること。
• 境界挙動や収束性といった理論的性質に基づいて、手法の比較と選択を可能にすること。

提案手法

• NLDR行列と線形スムージャーの関係を用いて、埋め込みを境界条件付きの微分方程式の解として解釈する。
• 近傍サイズが小さくなる極限における局所的・スペクトル的NLDR手法の漸近的挙動を、微分作用素の離散近似として分析する。
• 3つの極限微分作用素（係数ラプラシアン、LLRラプラシアン、拡散マップ型作用素）を同定し、それぞれが異なる境界条件を持つ。
• 局所線形回帰を用いて係数ラプラシアンを導出し、勾配の推定を可能にするとともに、すべての滑らかな関数に対して自己随伴性と一貫性のある滑らかさペナルティの収束を保証する。
• スムージングにおける境界バイアス理論を応用し、境界条件を満たさない場合の収束失敗を特徴付ける。
• 得られた作用素のスペクトル分解を用いて埋め込み挙動を分析し、手法間の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 既存のNLDR手法を、その極限微分作用素と境界条件に基づいて体系的に分類することは可能か？
• RQ2 なぜ局所接空間整合化（LTSA）は多様体の等長埋め込みを回復する際、他のNLDR手法を上回るのか？
• RQ3 境界条件が満たされない場合でも滑らかさペナルティの収束を保つラプラシアン＝ベルトラミ近似を構築できるか？
• RQ4 境界バイアスはNLDR手法の収束性と性能にどのような役割を果たすのか？
• RQ5 線形スムージング理論からの知見をどのように活用して、NLDRアルゴリズムを改善または新規に設計できるか？

主な発見

• LTSAは、最適な境界条件を持つ極限微分作用素に対応するため、等長埋め込みにおいて他の古典的手法よりも理論的に優位である。
• ヘッセLLE（HLLE）はLTSAと同じクラスに属し、同じ極限に収束するため、滑らかさペナルティとして相互に置き換え可能である。
• 係数ラプラシアンは、境界条件を満たさない関数に対しても、すべての $ C^\infty(\mathcal{M}) $ 関数に対して $ f^T L f \to \|\nabla f\|^2 $ の一貫性のある収束を保証する。
• 既存のラプラシアン近似は、関数が課された境界条件を満たさない限り、境界で一様収束しないため、信頼性の低い埋め込みを生じる。
• LTSAに関連する線形スムージャーは、内部で $ O(h^4) $ のバイアスを達成し、標準的な局所線形回帰の $ O(h^2) $ のバイアスを上回る。
• 理論的分析により、境界条件が満たされない場合、$ L_h^* L_h f $ が $ h \to 0 $ のとき発散することが示され、スムージング作用素の不安定性が裏付けられる。