[論文レビュー] Feature Selection through Minimization of the VC dimension

Jayadeva, Sanjit Singh Batra+1 more|arXiv (Cornell University)|Oct 27, 2014

Face and Expression Recognition参考文献 28被引用数 4

ひとこと要約

この論文は、VC次元を最小化するMinimal Complexity Machine (MCM)を用いて、スパースで高 discriminative（識別性）な特徴量サブセットを特定する、新しい特徴選択手法を提案する。線形MCM分類器を訓練することで自然にスパarsity（スパarsity）を促進し、全特徴量のわずか0.6%程度の最も関連性の高い特徴量のみを選択する。この手法は、ReliefF や FCBF と同等またはそれ以上のテスト精度を達成しながら、顕著に少ない特徴量数を用いる。

ABSTRACT

Feature selection involes identifying the most relevant subset of input features, with a view to improving generalization of predictive models by reducing overfitting. Directly searching for the most relevant combination of attributes is NP-hard. Variable selection is of critical importance in many applications, such as micro-array data analysis, where selecting a small number of discriminative features is crucial to developing useful models of disease mechanisms, as well as for prioritizing targets for drug discovery. The recently proposed Minimal Complexity Machine (MCM) provides a way to learn a hyperplane classifier by minimizing an exact (\boldmath{$Θ$}) bound on its VC dimension. It is well known that a lower VC dimension contributes to good generalization. For a linear hyperplane classifier in the input space, the VC dimension is upper bounded by the number of features; hence, a linear classifier with a small VC dimension is parsimonious in the set of features it employs. In this paper, we use the linear MCM to learn a classifier in which a large number of weights are zero; features with non-zero weights are the ones that are chosen. Selected features are used to learn a kernel SVM classifier. On a number of benchmark datasets, the features chosen by the linear MCM yield comparable or better test set accuracy than when methods such as ReliefF and FCBF are used for the task. The linear MCM typically chooses one-tenth the number of attributes chosen by the other methods; on some very high dimensional datasets, the MCM chooses about $0.6\%$ of the features; in comparison, ReliefF and FCBF choose 70 to 140 times more features, thus demonstrating that minimizing the VC dimension may provide a new, and very effective route for feature selection and for learning sparse representations.

研究の動機と目的

• 高次元データにおける最小限の特徴量サブセットを、高い識別性を保ちながら選択する課題に対処すること。
• モデルの一般化性能を向上させるために、理論的根拠を持つモデル複雑度の指標であるVC次元を特徴選択の基準として用いることで、過学習と計算コストの低減を図ること。
• ラッパー法の高い計算コストを回避し、フィルター法の制限を克服する、普遍的で反復処理を必要とせず、スケーラブルな特徴選択手法を開発すること。
• VC次元の最小化が、予測性能が既存の最先端手法と同等またはそれを上回るスパース表現を生成することを実証すること。

提案手法

• 線形MCMは、VC次元の正確な上界を最小化するように訓練され、重みベクトルにおけるスパarsity（スパarsity）を自然に促進する。
• MCMの解における非ゼロの重みに対応する特徴量が、後続の分類に最も関連性の高い特徴量として選択される。
• 一般化性能の評価のため、選択された特徴量上でガウスRBFカーネルを用いたカーネルSVMを訓練する。
• MCMの最適化問題は凸プログラミングを用いて解かれる。これは、マージンとノルムに関する制約を含む二次計画問題として定式化される。
• 特徴量の数に依存するVC次元の理論的上限を用いることで、特徴量数とモデル複雑度の直接的な関連を確立する。
• 反復的探索を必要とせず、一度のパスで特徴選択が行えるため、ラッパー法と比較して計算効率が優れている。

実験結果

リサーチクエスチョン

• RQ1 VC次元の最小化は、高次元データセットにおける特徴選択の有効で理論的根拠を持つ基準として機能できるか？
• RQ2 VC次元の最小化に基づく特徴選択手法は、ReliefF や FCBF といった既存のフィルター法と比較して、精度とスパarsity（スパarsity）の両面で優れているか？
• RQ3 MCMは、特徴量の選択数を著しく削減しながらも、テスト精度を維持または向上させるスパース表現をどの程度まで生成できるか？
• RQ4 MCMに基づく特徴選択手法は、次元数やサンプルサイズが異なる多様なベンチマークデータセットにおいて、スケーラブルで頑健であるか？

主な発見

• Westデータセット（49 × 7129）では、MCMがわずか32の特徴量（全特徴量の0.45%）を選択し、79.7% ± 6.8%のテスト精度を達成。これは、ReliefF（2207特徴量、65.3% ± 3.2%）とFCBF（1802特徴量、59.19% ± 3.1%）を上回った。
• Golubデータセット（72 × 7129）では、MCMが47の特徴量（全特徴量の0.66%）を選択し、95.8% ± 4.2%の精度を達成。FCBF（7129特徴量）と同等で、ReliefF（2271特徴量、90.3% ± 4.8%）を上回った。
• Singhデータセット（102 × 12600）では、MCMが81の特徴量（全特徴量の0.64%）を選択し、91.2% ± 3.9%の精度を達成。ReliefF（5650特徴量、89.2% ± 2.0%）を上回り、FCBF（11619特徴量、92.5% ± 2.7%）と同等の性能を示した。
• すべてのベンチマークデータセットにおいて、MCMはReliefF や FCBF と比較して、選択された特徴量数の1/10未満を継続的に選択しながら、テスト精度を維持または向上させた。
• Christensenデータセット（198 × 1413）では、すべての手法がほぼ完璧な性能（99.5% ± 0.7%）を示したが、MCMはわずか98の特徴量（全特徴量の6.9%）を選択した。一方、ReliefFは633、FCBFは1413の特徴量を選択した。
• MCMがスパース表現を学習できることを裏付ける証拠として、カーネルMCMにおけるサポートベクターの数が、標準SVMの10分の1未満であった。これは、強い一般化性能とスパarsity（スパarsity）を示している。