[論文レビュー] Kernel Feature Selection via Conditional Covariance Minimization

Jianbo Chen, Mitchell Stern+2 more|arXiv (Cornell University)|Jul 4, 2017

Machine Learning and Data Classification参考文献 17被引用数 56

ひとこと要約

本論文は CCM（条件共分散最小化を用いたカーネルベースの supervised feature selection）を導入し、予測に有効な特徴のサブセットを選択するために条件共分散演算子の迹（トレース）を最小化する手法で、整合性保証と強力な実証性能を提供する。

ABSTRACT

We propose a method for feature selection that employs kernel-based measures of independence to find a subset of covariates that is maximally predictive of the response. Building on past work in kernel dimension reduction, we show how to perform feature selection via a constrained optimization problem involving the trace of the conditional covariance operator. We prove various consistency results for this procedure, and also demonstrate that our method compares favorably with other state-of-the-art algorithms on a variety of synthetic and real data sets.

研究の動機と目的

• 監視付き特徴選択を、Yの予測性を最大化する特徴サブセットを選択することとして動機づけ、形式化する。
• 依存性/予測指標として条件共分散演算子の迹を用いる基準を提案する。
• 標準的な推定量の整合性を、サンプルサイズの増加とともに示す。
• 特徴選択を解放・勾配法で効率的に行う最適化フレームワークを提供する。
• 合成データおよび実データにおいて、最先端の特徴選択法と競合する性能を実証する。

提案手法

• RKHSにおける条件共分散演算子を定義し、その迹を条件依存性と予測誤差に関連づける。
• 特徴選択を、サイズ m の部分集合 T（Y は単変量）について Tr(Σ_YY|X_T) を最小化する問題として定式化する。
• 中心化されたカーネル行列と Y を用いた、迹のカーネルベースの推定を用い、 y^T (G_{X_T}+nεI)^{-1} y へと繋がる扱いやすい目的関数を得る。
• 連続緩和として {0,1}^d のバイナリセレクタ w を用い、単純なヒューリスティクスでの射影勾配法により離散的な特徴集合を回収する。
• 計算的な改良点: ソフト制約、行列逆算を回避する補助変数、カーネル近似（ランダム特徴量）による計算コスト削減を議論する。
• 理論的結果: ε_n→0 および ε_n n→∞ の下でグローバル最適化解の整合性を示す。

実験結果

リサーチクエスチョン

• RQ1 条件付き共分散演算子の迹は、特徴選択における依存性測定と予測力の統一基準となり得るか？
• RQ2 特徴サブセットについて Tr(Σ_YY|X_T) を最小化することで、サンプルサイズが増えると特徴選択は一貫性を持つのか？
• RQ3 非離散的緩和を用いて、性能を落とさずに離散的サブセット選択問題を効率良く最適化するにはどうするか？
• RQ4 CCM は合成データおよび実データに対して、従来のカーネルベース特徴選択法（例：BAHSIC）と比較してどうか？
• RQ5 非線形関係に対して頑健で、現実データの高次元タスクにスケールするかどうか？

主な発見

• CCM は条件依存性と予測誤差を結ぶ principled なカーネルベースの基準を提供する。
• Tr(Σ_YY|X_T) の経験的推定量は、n が大きくなると真の特徴サブセットを選択する整合性を持つことが証明されている。
• 緩和された連続的定式化と勾配法による最適化は特徴選択を扱いやすくし、重みを上位から選択して離散的なサブセットを回収する。
• 実験は、非線形関係を要する合成タスクにおいて、BAHSIC、mRMR、MI などの最先端手法を上回る、あるいは同等の性能を示している。
• 12 の実世界ベンチマークにおいて、CKM は競合する非線形特徴選択手法よりも、選択特徴を用いたカーネルSVM の精度を高く達成することが多い。