[論文レビュー] Diverse Landmark Sampling from Determinantal Point Processes for Scalable Manifold Learning

Christian Wachinger, Polina Golland|arXiv (Cornell University)|Mar 11, 2015

3D Shape Modeling and Analysis参考文献 37被引用数 7

ひとこと要約

本稿では、大規模な多様体学習における多様なランドマーク抽出のための、効率的で線形時間の近似手法としての行列式ポイントプロセス（DPP）を提案する。局所幾何学をBhattacharyya距離に基づく近傍選択によって活用することで、最先端の手法と比較して優れた埋め込み品質と分類性能を達成し、著しい実行時間の利点を有する。

ABSTRACT

High computational costs of manifold learning prohibit its application for large point sets. A common strategy to overcome this problem is to perform dimensionality reduction on selected landmarks and to successively embed the entire dataset with the Nyström method. The two main challenges that arise are: (i) the landmarks selected in non-Euclidean geometries must result in a low reconstruction error, (ii) the graph constructed from sparsely sampled landmarks must approximate the manifold well. We propose the sampling of landmarks from determinantal distributions on non-Euclidean spaces. Since current determinantal sampling algorithms have the same complexity as those for manifold learning, we present an efficient approximation running in linear time. Further, we recover the local geometry after the sparsification by assigning each landmark a local covariance matrix, estimated from the original point set. The resulting neighborhood selection based on the Bhattacharyya distance improves the embedding of sparsely sampled manifolds. Our experiments show a significant performance improvement compared to state-of-the-art landmark selection techniques.

研究の動機と目的

• 大規模な多様体学習におけるDPPサンプリングの高い計算コストを軽減すること。
• 多様体構造を保存し、再構築誤差を最小化する多様なランドマーク選択を可能にすること。
• 局所共分散推定を用いて、スパarsely sampledな多様体上での近傍グラフ構築を改善すること。
• 非ユークリッド幾何に適した線形時間のDPPサンプリングの近似を構築すること。
• 既存のランドマーク選択手法よりも優れた低次元埋め込みと分類性能を達成すること。

提案手法

• O(n³)からO(ndk)に複雑度を低減するための局所更新を用いた、効率的で線形時間のDPPサンプリングの近似を提案する。
• 非ユークリッド多様体幾何を尊重するため、ユークリッド距離の代わりにグラフの最短経路で近似された測地的距離を用いる。
• 元の点群から各ランドマークの周囲の局所共分散行列を推定し、局所構造を保存する。
• グラフ構築段階におけるロバストな近傍選択のため、多次元正規分布間のBhattacharyya距離を用いる。
• スパースなランドマーク集合と再構築されたカーネル行列を用いて、全データセットのNyström法による埋め込みを適用する。
• ランドマークサンプリングと局所幾何の回復を組み合わせることで、スペクトル埋め込みの品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非ユークリッド空間における大規模な多様体学習に適した、効率的で線形時間のDPPサンプリングの近似を設計できるか？
• RQ2 DPPベースのランドマーク選択は、一様抽出やK-meansベースの抽出と比較して、より低い再構築誤差とより良い多様体近似を達成できるか？
• RQ3 局所共分散推定とBhattacharyya距離を用いることで、スパースにサンプリングされた多様体上での近傍グラフ構築が改善できるか？
• RQ4 提案手法は、最先端のランドマーク選択技術と比較して、分類性能および実行時間において優れているか？
• RQ5 多様なサンプリングと局所幾何の回復の組み合わせは、ヒューリスティックなランドマーク選択を用いた標準的なNyström埋め込みよりもより頑健であるか？

主な発見

• 提案された効率的DPPサンプリング手法は、MNISTデータセットにおいてK-means++シーディングおよび一様抽出と比較して、顕著に優れた分類性能を達成した。
• MNISTデータセットにおいて、DPPベースのサンプリングはK-means++を統計的に有意に上回る分類精度を示し、Bhattacharyyaベースのグラフ構築によりさらなる向上が得られた。
• 頭頸部CTスキャン実験では、DPPベースの手法がK-means++および一様抽出を分類精度において上回り、最適化されたK-means実装と比較して15%の実行時間の優位性を示した。
• Bhattacharyya距離に基づく近傍選択は、両方のデータセットで埋め込み品質の向上をもたらし、スパースなサンプリングに対しても頑健であることを示した。
• 線形時間のDPP近似により、多様性や再構築精度を損なわず、スケーラブルなランドマーク選択が可能となった。
• 実行時間測定では、提案手法の最適化されていないMatlab実装が、最適化されたMEXバージョンのK-meansよりも高速であったため、強力な計算効率が示された。