[論文レビュー] Locally Linear Embedding and its Variants: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Nov 22, 2020

Face and Expression Recognition参考文献 82被引用数 30

ひとこと要約

Locally Linear Embedding (LLE) およびその派生に関する包括的なチュートリアルと調査で、理論、拡張、監督付き/半監督付きアプローチ、頑健性、およびデータ融合を網羅します。

ABSTRACT

This is a tutorial and survey paper for Locally Linear Embedding (LLE) and its variants. The idea of LLE is fitting the local structure of manifold in the embedding space. In this paper, we first cover LLE, kernel LLE, inverse LLE, and feature fusion with LLE. Then, we cover out-of-sample embedding using linear reconstruction, eigenfunctions, and kernel mapping. Incremental LLE is explained for embedding streaming data. Landmark LLE methods using the Nystrom approximation and locally linear landmarks are explained for big data embedding. We introduce the methods for parameter selection of number of neighbors using residual variance, Procrustes statistics, preservation neighborhood error, and local neighborhood selection. Afterwards, Supervised LLE (SLLE), enhanced SLLE, SLLE projection, probabilistic SLLE, supervised guided LLE (using Hilbert-Schmidt independence criterion), and semi-supervised LLE are explained for supervised and semi-supervised embedding. Robust LLE methods using least squares problem and penalty functions are also introduced for embedding in the presence of outliers and noise. Then, we introduce fusion of LLE with other manifold learning methods including Isomap (i.e., ISOLLE), principal component analysis, Fisher discriminant analysis, discriminant LLE, and Isotop. Finally, we explain weighted LLE in which the distances, reconstruction weights, or the embeddings are adjusted for better embedding; we cover weighted LLE for deformed distributed data, weighted LLE using probability of occurrence, SLLE by adjusting weights, modified LLE, and iterative LLE.

研究の動機と目的

• LLE の核心的アイデアを、 manifold embedding の過程で局所構造を保存することとして提示する。
• 適用範囲を広げるために、kernel LLE、inverse LLE、および LLE を用いた特徴量融合を調査する。
• 大規模データとストリーミング状況のためのアウト・オブ・サンプル埋め込み、インクリメンタルおよびランドマーク LLE を説明する。
• 近傍サイズや他のハイパーパラメータの選択戦略を詳述する。
• ラベル、ノイズ、外れ値に対処するための監督付き・半監督付き・頑健な LLE 変種を扱う。

提案手法

• 3 段階の LLE プロセスを説明する：k-NN グラフを構築し、隣接点の線形結合による再構成重みを計算し、同じ重みを用いて埋め込む。
• 制約付き二次形式を介して再構成重みの閉形式解を導出する。
• 特徴空間でステップを実行し、カーネルベースの重みを導出することで kernel LLE に拡張する。
• 線形再構成、固有関数、カーネル写像を用いたアウト・オブ・サンプル拡張を説明する。
• ストリーミングおよび大規模データセットのスケーラビリティのためのインクリメンタルおよびランドマーク LLE を導入する。
• 重み付き LLE と Isomap および他の手法との融合を議論し、埋め込みを強化する。

実験結果

リサーチクエスチョン

• RQ1 LLE をカーネル空間と特徴量融合に拡張して、非線形多様体埋め込みを改善するにはどうすればよいか？
• RQ2 大規模またはストリーミングデータに対して効果的なアウト・オブ・サンプル拡張、インクリメンタル手法、ランドマーク戦略とは何か？
• RQ3 LLE の監督付きおよび半監督付き変種をどのように定式化し最適化できるか？
• RQ4 LLE ベースの埋め込みにおいてノイズや外れ値への頑健性を提供するアプローチは何か？
• RQ5 LLE を他の多様体学習手法や重み付き変種と統合して性能を向上させるにはどうすればよいか？

主な発見

• LLE は k-NN から再構成重みを学習し、それらを埋め込み空間で再利用することにより局所構造を保持します。
• Kernel LLE はカーネル空間で再構成を行うことで高次元特徴空間へ方法を拡張します。
• アウト・オブ・サンプル拡張には線形再構成、固有関数ベースの写像、カーネルベースの写像が含まれ、新しいデータの埋め込みを可能にします。
• インクリメンタルおよびランドマーク LLE は、オンラインまたは Nyström に基づく戦略を用いて、ストリーミングおよび非常に大規模なデータセットの埋め込みを可能にします。
• 監督付き・半監督付き・頑健な変種は、ラベル付きデータの指示やノイズ/外れ値の多い設定に対応します。
• LLE と Isomap、PCA、判別手法の融合は ISOLLE や 識別的 LLE のようなハイブリッド手法を生み出します。