[論文レビュー] Supervised Feature Selection via Dependence Estimation

Le Song, Alex Smola+3 more|ArXiv.org|Apr 20, 2007

Neural Networks and Applications参考文献 14被引用数 35

ひとこと要約

本稿では、分類および回帰の両タスクにおいて関係する特徴量を効果的にフィルタリングできる、教師あり特徴量選択手法BAHSICを提案する。この手法は、特徴量とラベルの間の依存関係を測定するためにヒルベルト＝シュミット独立性基準（HSIC）を用い、密度推定や分類器固有のチューニングを必要とせずに優れた性能を達成する。バックワードエリミネーションアルゴリズムを採用することで、分類と回帰の両タスクにおいて優れた性能を発揮する。

ABSTRACT

We introduce a framework for filtering features that employs the Hilbert-Schmidt Independence Criterion (HSIC) as a measure of dependence between the features and the labels. The key idea is that good features should maximise such dependence. Feature selection for various supervised learning problems (including classification and regression) is unified under this framework, and the solutions can be approximated using a backward-elimination algorithm. We demonstrate the usefulness of our method on both artificial and real world datasets.

研究の動機と目的

• 分類および回帰の両タスクに適用可能な統一的で原理的な教師あり特徴量選択フレームワークの構築を目的とする。
• 密度推定に依存するか、特定の学習問題に限定される既存手法の限界を克服することを目的とする。
• 特定の分類器に依存しない、計算的に効率的で解釈可能なフィルタベース手法を提供することを目的とする。
• HSICの均一収束による理論的保証を通じて、依存関係検出および一般化に関する保証を確保することを目的とする。
• 多様なデータ環境下で情報量の多い特徴量を効果的に選択するための、HSICを用いたバックワードエリミネーションの有効性を示すこと

提案手法

• 入力特徴量とラベルの間の依存関係を非パラメトリックに測定するため、ヒルベルト＝シュミット独立性基準（HSIC）を用いる。密度推定を回避する。
• 特徴量選択を、特徴量サブセット上のHSICの最大化問題として定式化し、ラベルを最も予測可能にする特徴量を同定することを目的とする。
• HSICスコアに基づき、反復的に依存度が最も低い特徴量を削除するバックワードエリミネーションアルゴリズム（BAHSIC）を用いる。
• カーネル行列を用いてHSICを推定する：$\mathrm{HSIC}(\mathcal{F}, \mathcal{G}, \Pr_{xy}) = \frac{1}{m(m-3)} \left[ \mathrm{tr}(\mathbf{K}\mathbf{L}) + \frac{\mathbf{1}^\top \mathbf{K} \mathbf{1} \mathbf{1}^\top \mathbf{L} \mathbf{1}}{(m-1)(m-2)} - \frac{2}{m-2} \mathbf{1}^\top \mathbf{K} \mathbf{L} \mathbf{1} \right] $、ここで$\mathbf{K}$および$\mathbf{L}$は特徴量およびラベルのカーネル行列である。
• 二値分類、多値分類、回帰問題を一つのフレームワーク内で統合するために、ラベル空間に異なるカーネル関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 HSICに基づく依存関係測定は、教師あり学習における特徴量とラベルの間の線形および非線形関係を効果的に捉えることができるか？
• RQ2 特徴量選択の質と安定性の観点から、HSICを用いたバックワードエリミネーションはフォワードセレクションと比べてどのように異なるか？
• RQ3 HSICに基づく特徴量選択は、分類および回帰を含むさまざまな種類の教師あり学習タスクにどの程度一般化可能か？
• RQ4 実世界および合成データセットにおいて、既存のフィルタ手法と比較して予測精度と頑健性の面で優れた性能を発揮するか？
• RQ5 密度推定や分類器固有の最適化を必要とせずに、HSICに基づく選択が強力な性能を達成できるか？

主な発見

• バックワードエリミネーションは、全特徴量集合を考慮した文脈で特徴量を評価できるため、フォワードセレクションに比べて特徴量選択の質が優れている。
• 本手法は人工的および実世界のデータセットの両方で優れた性能を発揮し、多様なデータタイプおよびタスクタイプにわたり頑健であることが示された。
• HSICは、任意の非線形依存関係を検出可能であり、均一収束の保証を満たすという理論的条件を満たしている。
• 二値分類、多値分類、回帰問題のすべてに、タスク固有の修正やone-vs-all戦略を必要とせずに適用可能である。
• 特定のカーネル選択を用いることで、本フレームワークは多くの既存の特徴量選択手法を特別な場合として包含しており、その汎用性を示している。
• HSICを用いたバックワードエリミネーション戦略は、代替のグリーディー手法と比較して、より良い一般化性能とより安定した特徴量サブセットを達成している。