[論文レビュー] Feature Selection for Linear SVM with Provable Guarantees

Saurabh Paul, Malik Magdon‐Ismail+1 more|arXiv (Cornell University)|Jun 1, 2014

Face and Expression Recognition被引用数 13

ひとこと要約

本稿では、スペクトルスパーサイゼーションとレバレッジスコアサンプリングを用いて、線形SVMにおける2つの証明可能な正確な特徴選択手法——決定的および確率的——を提案する。特徴を $O(\text{サポートベクター数}/\epsilon^2)$ 個選択することで、マージンが $\epsilon$-相対誤差内に保たれることを保証し、マージンおよび半径の理論的境界を提示することで、SVMの非教師あり特徴選択における未解決問題を解決する。

ABSTRACT

We give two provably accurate feature-selection techniques for the linear SVM. The algorithms run in deterministic and randomized time respectively. Our algorithms can be used in an unsupervised or supervised setting. The supervised approach is based on sampling features from support vectors. We prove that the margin in the feature space is preserved to within $ε$-relative error of the margin in the full feature space in the worst-case. In the unsupervised setting, we also provide worst-case guarantees of the radius of the minimum enclosing ball, thereby ensuring comparable generalization as in the full feature space and resolving an open problem posed in Dasgupta et al. We present extensive experiments on real-world datasets to support our theory and to demonstrate that our method is competitive and often better than prior state-of-the-art, for which there are no known provable guarantees.

研究の動機と目的

• 線形SVMにおける既存の特徴選択手法に理論的保証が欠けているという問題に対処すること。
• 教師ありおよび非教師ありの両設定において、マージン保存の証明可能な最悪ケース性能保証を提供すること。
• 最小包含球のマージンおよび半径の両方を保つことを保証することで、非教師あり特徴選択における未解決問題を解決すること。
• サポートベクターのみを用いて効率的な特徴選択を可能にし、マージンの正確性を維持しながら特徴数を $O(\text{サポートベクター数}/\epsilon^2)$ に削減すること。
• 理論的根拠と実験的検証を併せた非教師あり特徴選択手法を教師あり設定に拡張すること。

提案手法

• マージンが $\epsilon$-相対誤差内に保たれるように特徴を選択する決定的アルゴリズムとして、単一集合スペクトルスパーサイゼーションを用いる。
• 確率的アルゴリズムとして、レバレッジスコアサンプリングを適用し、$\tilde{O}(\text{サポートベクター数}/\epsilon^2)$ 個の特徴選択を達成し、同様のマージン保証を実現する。
• 非教師あり特徴選択を教師あり学習に拡張するため、全データセットではなくサポートベクター集合に手法を適用する。
• サポートベクターが線形SVM学習の十分統計量であるという事実を活用し、サポートベクター上でマージンが保たれていれば、全データセット上でもマージンが保たれることを保証する。
• 大規模データセットにスケーリングするため、サポートベクター行列の右特異ベクトルを近似するための、ランダムプロジェクションを用いた近似BSS（ブロックワイズ直交反復）ヒューリスティックを導入する。
• ランダムなガウス行列 $\mathbf{G} \in \mathbb{R}^{t \times p}$ をサポートベクター行列 $\mathbf{X}$ に事前に左乗算することで、射影行列上のSVDを用いた効率的な特徴選択計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マージン保存において $\epsilon$-相対誤差を保証するような、線形SVMの特徴選択手法を設計可能か？
• RQ2 非教師あり特徴選択手法を教師あり設定に拡張し、理論的保証を維持できるか？
• RQ3 非教師あり設定において、マージンおよび最小包含球の半径を証明可能な保証で保てるか？
• RQ4 マージンをサポートベクター上で保つ限り、選択された特徴数を $O(\text{サポートベクター数}/\epsilon^2)$ にまで削減可能か？
• RQ5 理論的保証のない最先端手法と比較して、提案手法の実用的性能はどのように評価できるか？

主な発見

• 決定的アルゴリズムは $O(\text{サポートベクター数}/\epsilon^2)$ 個の特徴を選択し、$\tilde{\gamma}^{*2} \geq (1 - \epsilon)\gamma^{*2}$ を保証することで、$\epsilon$-相対誤差内にマージンを保つ。
• 確率的アルゴリズムは $\tilde{O}(\text{サポートベクター数}/\epsilon^2)$ 個の特徴を必要とし、同様に $\epsilon$-相対マージン保証を達成する。
• 非教師あり設定では、決定的アルゴリズムが $O(\rho/\epsilon^2)$ 個の特徴を選択し、$\rho$ をデータのランクとして、マージンおよび半径の両方を $\epsilon$-相対誤差内に保つ。
• 最小包含球の半径は $\tilde{B}^2 \leq (1 + \epsilon)B^2$ と保たれ、$B^2/\gamma^{*2}$ が $\epsilon$-相対誤差内に保たれることを保証する。
• 実験的結果では、BSSおよびレバレッジスコアサンプリングがRFE、RRQR、LPSVMなどの先行研究と同等またはそれ以上の性能を示し、特に教師あり設定で顕著である。
• $t = 128$ および $t = 256$ のプロジェクションを用いた近似BSSヒューリスティックは、出先サンプル誤差がRRQRに近く、RFEおよびLPSVMと同等であり、$t$ が増加するにつれて性能が向上する。