[論文レビュー] A survey of dimensionality reduction techniques

Carlos Óscar S. Sorzano, Javier Vargas+1 more|arXiv (Cornell University)|Mar 12, 2014

Face and Expression Recognition参考文献 135被引用数 317

ひとこと要約

本調査は、統計学および機械学習における次元削減技術について包括的な概要を提供し、線形および非線形アプローチに分類している。主成分分析（PCA）、MDS、Isomap、LLE、ラプラシアン固有写像の数学的基盤を説明し、冗長性を低減しながら重要な情報を保持する高次元の生物学的・化学的データの処理への応用を強調している。

ABSTRACT

Experimental life sciences like biology or chemistry have seen in the recent decades an explosion of the data available from experiments. Laboratory instruments become more and more complex and report hundreds or thousands measurements for a single experiment and therefore the statistical methods face challenging tasks when dealing with such high dimensional data. However, much of the data is highly redundant and can be efficiently brought down to a much smaller number of variables without a significant loss of information. The mathematical procedures making possible this reduction are called dimensionality reduction techniques; they have widely been developed by fields like Statistics or Machine Learning, and are currently a hot research topic. In this review we categorize the plethora of dimension reduction techniques available and give the mathematical insight behind them.

研究の動機と目的

• 統計学および機械学習で開発された多様な次元削減技術を分類し、体系的にレビューすること。
• 1サンプルあたり数100～数1000もの測定値を生成する生命科学分野の高次元実験データを分析する課題に対処すること。
• 計算生物学およびデータサイエンスの研究者に対して、線形および非線形次元削減手法の数学的洞察を提供すること。
• データの複雑さを著しく損なわず、複雑性を低減するための主要技術の原理、仮定、応用を理解するための参考資料として機能すること。

提案手法

• 本論文は、その背後にある数学的構造に基づき、次元削減技術を線形および非線形のカテゴリに分類している。
• 共分散行列の固有値分解を用いた主成分分析（PCA）のような古典的手法を説明している。
• 近隣グラフ上の最短経路を介して多様体上の測地的距離を組み込んだ非線形技術、例えばIsomapを詳細に説明している。
• 局所線形埋め込み（LLE）を、各点をその近傍点の線形結合によって再構築することで、局所的近傍関係を保存する手法として説明している。
• ラプラシアン固有写像を、局所的再構築誤差を最小化するとともに近傍構造を保持するグラフラプラシアンを用いる手法として提示している。
• 仮定、計算複雑性、および異なるデータタイプやノイズレベルに対する適性に基づき、手法を比較している。

実験結果

リサーチクエスチョン

• RQ1 統計学および機械学習における主要な次元削減技術の背後にある基本的な数学的原理は何か？
• RQ2 PCAのような線形手法と、Isomap や LLE のような非線形手法は、高次元空間におけるデータ構造をどのように保存するか？
• RQ3 実世界の生物学的・化学的データセットに適用した場合、各次元削減手法の主な仮定と制限は何か？
• RQ4 これらの手法は、実験的生命科学分野に一般的に見られる冗長的かつノイズの多いデータをどのように処理するか？
• RQ5 複雑なデータセットにおいて、局所的構造とグローバル構造を両方とも効果的に保持するには、どの次元削減手法が最も適しているか？

主な発見

• 本調査は、線形構造を持つデータに対しては効果的で計算が高速な線形手法（例：PCA）が有効であるが、複雑な非線形多様体を捉えることはできないと示している。
• Isomap や LLE、ラプラシアン固有写像のような非線形手法は、高次元空間に埋め込まれた低次元多様体上に存在するデータに適しており、局所的な幾何的関係を保持する。
• 各手法の性能は、データの内在的幾何構造、ノイズレベル、サンプリング密度に強く依存しており、最適な手法は一様に存在しない。
• 本論文は、Isomap が測地的距離をモデル化することでグローバル構造を捉えるのに対し、LLE やラプラシアン固有写像は局所的近傍の保存に焦点を当てる点を強調している。
• 特にノイズが多い、またはスパarsなデータ環境では、近傍サイズなどのパラメータの適切な選定が非線形手法の成功に不可欠であると指摘している。
• 本調査は、次元削減が高次元生物学的データの冗長性を低減させ、システム生物学およびバイオインフォマティクス分野におけるより効果的な後続解析を可能にするために不可欠であると結論付けている。