[論文レビュー] Laplacian-Based Dimensionality Reduction Including Spectral Clustering, Laplacian Eigenmap, Locality Preserving Projection, Graph Embedding, and Diffusion Map: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jun 3, 2021

Face and Expression Recognition被引用数 7

ひとこと要約

このチュートリアルおよびサーベイは、スペクトルクラスタリング、ラプラシアン固有値マップ、局所保存射影（LPP）、グラフ埋め込み、拡散マップを含む、ラプラシアンに基づく次元削減手法の包括的概要を提示する。これらの手法がどのようにグラフラプラシアンを活用して局所構造と非線形多様体を保持するかを説明し、埋め込み空間へのデータの低次元化を実現する際に幾何的関係を維持するためのラプラシアン行列の固有値分解に焦点を当てる。

ABSTRACT

This is a tutorial and survey paper for nonlinear dimensionality and feature extraction methods which are based on the Laplacian of graph of data. We first introduce adjacency matrix, definition of Laplacian matrix, and the interpretation of Laplacian. Then, we cover the cuts of graph and spectral clustering which applies clustering in a subspace of data. Different optimization variants of Laplacian eigenmap and its out-of-sample extension are explained. Thereafter, we introduce the locality preserving projection and its kernel variant as linear special cases of Laplacian eigenmap. Versions of graph embedding are then explained which are generalized versions of Laplacian eigenmap and locality preserving projection. Finally, diffusion map is introduced which is a method based on Laplacian of data and random walks on the data graph.

研究の動機と目的

• ラプラシアンに基づく非線形次元削減手法の統一的チュートリアルおよびサーベイを提供すること。
• グラフラプラシアン、隣接行列、およびそれらが局所幾何を保持する役割を明確にすること。
• スペクトルクラスタリング、ラプラシアン固有値マップ、LPP、グラフ埋め込み、拡散マップの主な手法間の関係と相違点を説明すること。
• スケーラビリティと一般化のためのアウトオブサンプル拡張およびカーネル変種を提示すること。
• 実用的応用および拡散ベース手法における最近の改善を強調すること。

提案手法

• データ類似度をモデル化するために、k-近傍法またはε-近傍法を用いて重み付き隣接行列を構築する。
• グラフラプラシアン行列を $ \boldsymbol{L} = \boldsymbol{D} - \boldsymbol{W} $ として定義する。ここで $ \boldsymbol{D} $ は次数行列、$ \boldsymbol{W} $ は隣接行列である。
• スペクトルクラスタリングを用い、一般化固有値問題 $ \boldsymbol{L} \boldsymbol{y} = \lambda \boldsymbol{D} \boldsymbol{y} $ を解くことで、データを低次元部分空間に埋め込む。
• ラプラシアン固有値マップを、$ \sum_{i,j} w_{ij} \| \boldsymbol{y}_i - \boldsymbol{y}_j \|^2 $ の最適化により適用し、埋め込み空間における局所距離を最小化する。
• 局所保存射影（LPP）を、ラプラシアン固有値マップの線形近似として導入し、$ \boldsymbol{A} $ を $ \boldsymbol{L} $ から得た $ \boldsymbol{Y} = \boldsymbol{A}^T \boldsymbol{X} $ を解く。
• グラフ埋め込みにより、一般化ラプラシアン行列 $ \boldsymbol{M}^t $ を用いた $ \boldsymbol{Y}^T \boldsymbol{M}^t \boldsymbol{Y} $ の最適化を $ \boldsymbol{Y}^T \boldsymbol{Y} = \boldsymbol{I} $ の制約下で行い、手法を一般化する。
• データグラフ上のランダムウォークプロセスを用いた拡散マップを導入し、$ \boldsymbol{y}_i^{(t)} = [\lambda_1^t \boldsymbol{\psi}_1(i), \dots, \lambda_p^t \boldsymbol{\psi}_p(i)]^T $ を計算することで埋め込みを実現する。ここで時間ステップ $ t $ はスケールパラメータとして機能する。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアンに基づく手法は、次元削減の過程でどのように局所幾何的構造を保持するか？
• RQ2 スペクトルクラスタリングとラプラシアン固有値マップの間には、非線形特徴抽出においてどのような理論的関連性があるか？
• RQ3 アウトオブサンプル拡張は、ラプラシアン固有値マップおよびスペクトルクラスタリングを新しいデータポイントにどのように一般化するか？
• RQ4 拡散マップは、ランダムウォークと時間発展する拡散プロセスを用いて、どのようにデータをモデル化するか？
• RQ5 グラフ埋め込みおよびカーネル変種は、LPPとラプラシアン固有値マップをどのように一般化し統合するか？

主な発見

• グラフラプラシアンは、隣接行列と次数行列を介して近傍関係を符号化することにより、局所多様体構造を効果的に捉える。
• スペクトルクラスタリングは、正規化ラプラシアンの固有ベクトルによって定義される部分空間にデータを埋め込むことで、より良いクラスタ分離を達成する。
• ラプラシアン固有値マップは、埋め込み空間における近隣点間の二乗距離の和を最小化することで、局所幾何を保持する。
• LPPは、ラプラシアン固有値マップの非線形版に対する線形で高速かつスケーラブルな代替手段を提供し、ラプラシアンから導かれた線形部分空間にデータを射影する。
• グラフ埋め込みは、一般化ラプラシアン行列 $ \boldsymbol{M}^t $ を用いた柔軟な最適化目的関数を可能にすることで、ラプラシアン固有値マップとLPPを一般化する。
• 拡散マップは、ランダムウォークを用いてデータをモデル化し、拡散距離 $ d^{(t)}(\boldsymbol{x}_i, \boldsymbol{x}_j) $ が埋め込み空間 $ \boldsymbol{y}_i^{(t)} $ におけるユークリッド距離に等しくなる。時間パラメータ $ t $ は埋め込みのスケールを制御する。