[論文レビュー] A survey of dimensionality reduction techniques based on random projection

Haozhe Xie, Jie Li+1 more|arXiv (Cornell University)|Jun 14, 2017

Face and Expression Recognition参考文献 80被引用数 44

ひとこと要約

本サーベイは、ランダムプロジェクション（RP）に基づく次元削減技術をレビューし、特徴抽出、次元拡張、アンサンブルアプローチの3つに分類する。それらの強みと限界を評価し、高次元データに対する手法選定の指針を提供するとともに、歪みや計算コストといった課題を強調する。

ABSTRACT

Dimensionality reduction techniques play important roles in the analysis of big data. Traditional dimensionality reduction approaches, such as principal component analysis (PCA) and linear discriminant analysis (LDA), have been studied extensively in the past few decades. However, as the dimensionality of data increases, the computational cost of traditional dimensionality reduction methods grows exponentially, and the computation becomes prohibitively intractable. These drawbacks have triggered the development of random projection (RP) techniques, which map high-dimensional data onto a low-dimensional subspace with extremely reduced time cost. However, the RP transformation matrix is generated without considering the intrinsic structure of the original data and usually leads to relatively high distortion. Therefore, in recent years, methods based on RP have been proposed to address this problem. In this paper, we summarize the methods used in different situations to help practitioners to employ the proper techniques for their specific applications. Meanwhile, we enumerate the benefits and limitations of the various methods and provide further references for researchers to develop novel RP-based approaches.

研究の動機と目的

• 高次元データにおけるRPベースの次元削減技術について包括的なレビューを提供すること。
• 高い歪みとタスク固有の構造の欠如に対処することでRPのパフォーマンスを向上させる手法を特定・分類すること。
• データの特徴と応用ニーズに基づいて、適切なRPベースの手法を選定するためのガイドラインを提供すること。
• 特にリアルタイムおよび複雑なデータタスクにおけるRPの未解決の課題と今後の研究方向性を浮き彫りにすること。

提案手法

• RPの性能向上手法を3つのカテゴリに分類する：特徴抽出、次元拡張、アンサンブルアプローチ。
• 特徴抽出手法を分析し、汎用的およびアプリケーション固有の変種を含め、高次元データから判別性の高い特徴を抽出することを目的とする。
• ELMや長方形フィルタを含む次元拡張技術をレビューし、低次元特徴を高次元空間に投影することで線形分離性を向上させる。
• 複数のRPインスタンスを投票方式や確率的クラスタリング（例：EMベースの集約）で統合するアンサンブル手法を検討し、耐障害性と一般化性能を向上させる。
• EMベースのモデル集約を用いたクラスタリングとのRPの統合を評価し、クラスタ類似度をペアワイズ確率スコアで計算する。
• コアとなるRP定式化を適用：$\mathbf{X}^{RP}_{n\times k} = \mathbf{X}_{n\times d}\mathbf{W}_{d\times k}$、距離保存性を保証するジョンソン＝リンデンストラウス補題に基づく。

実験結果

リサーチクエスチョン

• RQ1 異なるRPベースの手法は、計算効率、歪み、高次元データにおけるパフォーマンスの観点でどのように比較されるか？
• RQ2 特徴抽出、次元拡張、アンサンブルベースのRPアプローチの主な利点と限界は何か？
• RQ3 どのような状況でRPに基づくアンサンブル手法が単一のRPやPCAなどの伝統的次元削減法を上回るか？
• RQ4 RPをクラスタリングアルゴリズムと効果的に組み合わせることで、安定性とクラスタ品質をどのように向上させられるか？
• RQ5 複雑でリアルタイムな応用において、正確で低歪みの次元削減を達成するための未解決の課題は何か？

主な発見

• 投票やEMベースのクラスタリング集約を用いた複数のRPインスタンスに基づくアンサンブル手法は、単一RPやPCAベースの手法よりもより安定的かつ正確な結果をもたらす。
• RP + EMアンサンブルアプローチは、EMが局所最適解に収束しやすい傾向があるにもかかわらず、PCA + EMを上回るクラスタリング性能を示し、より優れたかつ頑健なクラスタを生成した。
• RPベースのアンサンブル手法は、薬物標的相互作用予測においてベースライン手法比で分類精度を4.5%〜8.2%向上させ、発声障害の音声認識では5.23%の向上を達成した。
• 特にアプリケーション固有の特徴抽出手法は、汎用的メソッドに比べて判別性の高い特徴を効果的に抽出できるが、計算コストが高く、一般化性に欠ける。
• ELMや長方形フィルタを含む次元拡張手法は高速であるが、複雑な特徴をうまく捉えることができず、nが小さいがpが大きなデータセットでは過学習しやすい。
• 標準的なRPは効率的であるが、内部のデータ構造を無視するため高い歪みを引き起こすため、高度なRPベースの技術の開発が促進されている。