[論文レビュー] Sparse Matrix-based Random Projection for Classification

Weizhi Lu, Weiyu Li+2 more|arXiv (Cornell University)|Dec 12, 2013

Face and Expression Recognition参考文献 21被引用数 4

ひとこと要約

本稿は、各カラムに正確に1つの非ゼロ要素を持つスパースなランダム射影行列を提案する—分類タスクにおける最適な特徴選択性能を達成する。そのスパarsityにもかかわらず、Johnson-Lindenstraussの補題により対象間距離を保持し、射影次元が特徴数と著しく小さい場合を除き、密度の高い行列を上回る性能を示す。合成データおよび実世界のデータにおいて、計算効率と分類精度の両方を向上させる。

ABSTRACT

As a typical dimensionality reduction technique, random projection can be simply implemented with linear projection, while maintaining the pairwise distances of high-dimensional data with high probability. Considering this technique is mainly exploited for the task of classification, this paper is developed to study the construction of random matrix from the viewpoint of feature selection, rather than of traditional distance preservation. This yields a somewhat surprising theoretical result, that is, the sparse random matrix with exactly one nonzero element per column, can present better feature selection performance than other more dense matrices, if the projection dimension is sufficiently large (namely, not much smaller than the number of feature elements); otherwise, it will perform comparably to others. For random projection, this theoretical result implies considerable improvement on both complexity and performance, which is widely confirmed with the classification experiments on both synthetic data and real data.

研究の動機と目的

• ランダム射影を距離保存のためのツールとして捉えるのでなく、分類のための特徴選択メカニズムとして再定式化すること。
• ランダム射影行列のスパarsityを変化させた場合、特徴選択性能に与える影響を調査すること。
• 分類タスクにおいて、密度の高い行列と同等またはそれを上回る性能を維持できる、最もスパースなランダム行列構造を同定すること。
• 顔画像、DNAマイクロアレイ、テキストドキュメントを含む合成および実世界のデータセットを用いた広範な実験を通じて、理論的知見を検証すること。

提案手法

• 各カラムに正確に1つの非ゼロ要素を含む {0, ±1} のランダム射影行列を構築し、最大のスパarsityを確保する。
• 内積およびノルムに関する確率的バウンドを用いて、行列のスパarsity関数としての期待される特徴選択性能をモデル化する理論的分析を実施する。
• データ構造の安定性を保証するため、射影中にJohnson-Lindenstraussの補題を制約として適用し、低次元空間における分類の妥当性を維持する。
• さまざまなスパarsityレベル下での、射影されたデータベクトルとランダム射影行との間の期待される絶対内積に対する理論的バウンドを導出する。
• 高次元データにおけるバイナリ分類実験を通じて、提案されたスパース行列を密度の高い行列（例：ガウス分布、±1行列）と比較する。
• 射影次元が特徴数に対して相対的に大きい場合に、1カラムあたり1つの非ゼロ要素を持つ行列が密度の高い代替手法を上回る理論的条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 各カラムに正確に1つの非ゼロ要素を持つよりスパースなランダム射影行列は、分類のための特徴選択において、密度の高い行列を上回る性能を示すか？
• RQ2 1カラムあたり1つの非ゼロ要素を持つ行列は、どのような条件下で密度の高い行列と同等またはそれ以上の性能を維持・超過するか？
• RQ3 ランダム行列のスパarsityが期待される特徴選択性能に与える影響は何か？ また、これは理論的にモデル化可能か？
• RQ4 提案されたスパース行列は、JL補題による距離構造の保持を維持しながら、優れた分類性能を実現できるか？
• RQ5 スパース行列の理論的優位性は、高次元データにおける実世界の分類タスクに実際に現れるか？

主な発見

• 射影次元が特徴数と著しく小さい場合を除き、各カラムに正確に1つの非ゼロ要素を持つ本稿で提案されたスパースランダム行列は、密度の高い行列よりも優れた特徴選択性能を達成する。
• 性能の優位性は、スパースランダム行列のための期待される内積行動および確率的バウンドに基づく理論的根拠により裏付けられる。
• 射影次元が十分に大きい場合、合成データおよび実世界の分類タスクにおいて、スパース行列は密度の高い代替手法を上回る性能を示す。
• Johnson-Lindenstraussの補題に従い、距離の保持が維持され、射影空間におけるデータ構造の安定性が保証される。
• 顔画像、DNAマイクロアレイ、テキストドキュメントに対する分類実験により、提案された行列が著しく低い計算複雑性で優れたまたは同等の性能を発揮することが確認された。
• 理論的分析により、射影重みの平均がその分散に対して大きい条件下では、スパース行列の期待される特徴選択性能が、密度の高い行列を上回ることが示された。