[論文レビュー] Random Projections for Support Vector Machines

Saurabh Paul, Christos Boutsidis+2 more|arXiv (Cornell University)|Nov 26, 2012

Face and Expression Recognition参考文献 22被引用数 56

ひとこと要約

本稿では、線形サポートベクターマシン（SVM）のための次元削減を可能にしつつ、特徴空間におけるマージンおよび最小包含球をε相対誤差内に保つ、無関心なランダム射影手法を提案する。この手法は事前計算可能であり、高い確率で元の高次元空間と同等の一般化性能を達成する。

ABSTRACT

Let X be a data matrix of rank ρ, representing n points in d-dimensional space. The linear support vector machine constructs a hyperplane separator that maximizes the 1-norm soft margin. We develop a new oblivious dimension reduction technique which is precomputed and can be applied to any input matrix X. We prove that, with high probability, the margin and minimum enclosing ball in the feature space are preserved to within ɛ-relative error, ensuring comparable generalization as in the original space. We present extensive experiments with real and synthetic data to support our theory. 1

研究の動機と目的

• 高次元空間におけるSVMのマージンおよび一般化性能を保つ次元削減技術の開発。
• 低次元表現がユーザーが定義したε相対誤差内に、1ノルムソフトマージンおよび最小包含球の性質を維持することの保証。
• 特定のデータ分布に適応する必要がなく、任意の入力データ行列に適用可能な事前計算済みの無関心射影手法の提供。
• 投影空間における一般化性能が元の空間と同等であることを理論的に保証すること。

提案手法

• 本手法は、入力データ行列Xに依存せず、事前に計算された無関心なランダム射影行列を用いる。
• ランダム射影により、ランクρのデータ行列Xを低次元空間に射影し、1ノルムソフトマージンおよび最小包含球の構造を保持する。
• 理論的分析により、高い確率で、投影空間におけるマージンおよび最小包含球が元の空間のε相対誤差内に保たれることを示す。
• SVM性能に重要な幾何的性質、特に分離マージンおよび最適な超平面まわりのデータ分布を維持するように射影が設計されている。
• 反復計算やデータ依存のチューニングを必要としないため、効率的かつスケーラブルである。
• その無関心性のおかげで、データ行列Xの分布や構造にかかわらず、任意の入力行列に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ランダム射影は、制御可能なε相対誤差内に、投影空間における1ノルムソフトマージンを保てるか？
• RQ2 無関心なランダム射影は、SVMの一般化に重要な特徴空間における最小包含球を維持できるか？
• RQ3 一般化性能が元の空間と同等に保たれる範囲で、どの程度次元を削減できるか？
• RQ4 提案手法は、データ固有のチューニングや適応を必要とせず、任意のデータ行列に普遍的に適用可能か？

主な発見

• 提案されたランダム射影は、高い確率で特徴空間におけるマージンおよび最小包含球をε相対誤差内に保つ。
• 投影空間におけるSVMの一般化性能は、元の高次元空間と同等である。
• その無関心性のおかげで、データ依存の計算を一切必要とせず、任意の入力データ行列Xに普遍的に適用可能である。
• 実データおよび合成データを用いた広範な実験により、理論的保証の妥当性が検証され、実用的有効性が示された。
• 本手法は、SVM性能を維持しつつ顕著な次元削減を可能にし、大規模データセットへのスケーラビリティを支援する。