[論文レビュー] Is margin preserved after random projection?

Qinfeng Shi, Chunhua Shen+2 more|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用数 34

ひとこと要約

この論文は、一般的な次元削減手法であるランダムプロジェクションの後、2値分類および多値分類におけるマージンが保持されるかどうかを調査する。マージンが保持される理論的条件を導出し、マージン歪みの境界を提供する。その結果、投影次元がデータの内因的次元性に対して十分に大きい場合には、高確率でマージンが安定することが示された。

ABSTRACT

Random projections have been applied in many machine learning algorithms. However, whether margin is preserved after random projection is non-trivial and not well studied. In this paper we analyse margin distortion after random projection, and give the conditions of margin preservation for binary classification problems. We also extend our analysis to margin for multiclass problems, and provide theoretical bounds on multiclass margin on the projected data.

研究の動機と目的

• ランダムプロジェクションという広く使われている次元削減手法の後、2値分類および多値分類におけるマージンが保持されるかどうかを調査すること。
• ランダムプロジェクション後にマージンが安定する理論的条件を導出すること。
• 2値分類問題からのマージン解析を多値分類問題へ拡張すること。
• 投影空間におけるマージン歪みの理論的境界を提供すること。
• 投影次元とマージン保持の関係を定量化すること。

提案手法

• 著者らは、測度の集中とジョンソン＝リンデンストラウス型の議論を用いて、データにランダムプロジェクション行列を適用した後のマージン歪みを分析する。
• マージンが高確率で保持されるような投影次元に関する十分条件を導出する。
• 多値分類問題においては、マージンの定義を複数のクラスへ拡張し、クラス間マージンの歪みを分析する。
• 分析は特にガウス幅および被覆数の議論を用いた確率的境界に依存し、マージン歪みを制御する。
• データ分布および投影次元に関する特定の仮定の下で、投影されたマージンと元のマージンの比に対する理論的境界を確立する。
• 理論的分析に基づく妥当性確認が行われ、実験的評価は行わず、証明可能な保証の導出に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 2値分類において、ランダムプロジェクションの後、どのような条件下でマージンが保持されるか？
• RQ2 高次元データにおいて、投影次元はマージン歪みにどのように影響するか？
• RQ3 理論的マージン保持保証を多値分類問題へ拡張できるか？
• RQ4 投影マージンと元のマージンの比に対する理論的境界は何か？
• RQ5 データの内因的次元性は、ランダムプロジェクション下でのマージン保持にどのように影響するか？

主な発見

• 投影次元が十分に大きい場合、特にデータポイント数の対数のオーダーである場合には、マージンが高確率で保持される。
• 2値分類において、やや弱い仮定の下で、投影マージンと元のマージンの比が高確率でゼロから離れていることが示された。
• 多値分類問題においては、クラス間マージンの歪みに関する境界が導出され、適切な投影次元の下ではクラス間の相対的マージンが保持されることを示した。
• 理論的境界は、データ集合のガウス幅および被覆数に依存しており、これらはデータ多様体の複雑さを定量化する。
• 結果から、マージンベースの学習アルゴリズムの前処理としてランダムプロジェクションを用いることが、一般化性能を著しく劣化させることなく信頼できることが示唆された。
• 分析により、ランダムプロジェクションはマージン最大化に重要な幾何的構造を保持することが確認され、大規模学習における応用を支持する。