[論文レビュー] Feature Selection via Regularized Trees

Houtao Deng, George C. Runger|arXiv (Cornell University)|Jan 7, 2012

Neural Networks and Applications参考文献 26被引用数 55

ひとこと要約

本論文では、以前に選択された特徴量と類似する情報ゲインを持つ特徴量の再利用を罰則することで、ランダムフォレストおよびブースティング木が効率的で埋め込み型の特徴選択を実現するための木正則化フレームワークを提案する。この手法は、一度のモデル学習プロセスで高品質で重複のない特徴量サブセットを選択でき、従来のフィルターやラッパー手法よりも精度と効率性に優れ、複雑なデータタイプを自然に処理できる。

ABSTRACT

We propose a tree regularization framework, which enables many tree models to perform feature selection efficiently. The key idea of the regularization framework is to penalize selecting a new feature for splitting when its gain (e.g. information gain) is similar to the features used in previous splits. The regularization framework is applied on random forest and boosted trees here, and can be easily applied to other tree models. Experimental studies show that the regularized trees can select high-quality feature subsets with regard to both strong and weak classifiers. Because tree models can naturally deal with categorical and numerical variables, missing values, different scales between variables, interactions and nonlinearities etc., the tree regularization framework provides an effective and efficient feature selection solution for many practical problems.

研究の動機と目的

• 複数回のモデル再訓練を必要とするラッパー型特徴選択手法の高い計算コストを軽減すること。
• 予測性能を維持しつつ特徴量の冗長性を低減する、単一モデルで埋め込み型の特徴選択を実現する手法の開発。
• 混合データ型、欠損値、非線形性を自然に処理できる、組み込み型特從選択機能を備えた木ベースのモデルの拡張。
• 正則化フレームワークの有効性を、強力な分類器（例：RF）と弱い分類器（例：C4.5）の両方で評価すること。
• 交差検証や手動によるカットオフ選択を必要とせず、最適な特徴量数を自動的に特定できることを示すこと。

提案手法

• 本フレームワークは、以前のスプリットで使用された特徴量と類似する情報ゲインを持つ新たな特徴量の選択を抑制する正則化ペナルティを導入する。
• ペナルティは情報ゲインの類似度に基づき、以前に選択された特徴量と比較して冗長性があると判断される閾値を用いて定義される。
• 本手法はランダムフォレスト（RRF）およびブースティング木（RBoost）に適用され、スプリット基準に正則化項を組み込むことで変更される。
• 特徴選択はモデル学習内に埋め込まれており、別々のモデル反復は不要であるため、ワンパス学習が可能である。
• 正則化は、1回のスプリットで1つの特徴量を使用する任意の木モデルに一般化可能である。
• 本フレームワークは、カテゴリカル変数と数値変数、欠損値、スケールの違い、相互作用、非線形関係を自然に処理できる。

実験結果

リサーチクエスチョン

• RQ1 複数回のモデル再トレーニングを必要とせずに、木アンサンブルが特徴選択を実行できる正則化フレームワークを設計できるか？
• RQ2 従来のフィルターメソッド（例：CFS、FCBF）およびラッパーメソッド（例：SVM-RFE）と比較して、正則化木アンサンブルの特徴量サブセットの質と予測精度はどのように異なるか？
• RQ3 正則化フレームワークは、特徴量の冗長性と計算コストを低減しつつ、分類精度を維持または向上できるか？
• RQ4 本手法は強力な学習器（例：ランダムフォレスト）と弱い学習器（例：C4.5）の両方でどのように性能を発揮するか？
• RQ5 本フレームワークは、交差検証や手動によるカットオフ選択を必要とせず、最適な特徴量数を自動的に特定できるか？

主な発見

• RRF や RBoost が選択した特徴量サブセットは、特にランダムフォレストのような強力な学習器では、すべての特徴量を使用した場合と比較して分類精度を維持またはわずかに向上させた。
• RRF や RBoost が選択した特徴量を使用した RF は、CFS や FCBF が選択した特徴量を使用した場合と比較して、顕著な精度の低下を示した。これは、予測情報の保持が優れていることを示している。
• CFS や FCBF よりも多くの特徴量を選択したが、より優れた予測性能を達成しており、追加の特徴量が有用な多項相互作用を捉えていたと考えられる。
• 小規模なデータセット（例：arcene）では、RRF や RBoost が CFS よりも顕著な優位性を示さなかった。これは、木の深さが限定されており、複雑な相互作用を捉える能力が制限されていたためと推測される。
• C4.5 はすべての特徴選択手法と同等の性能を示したが、RRF や RBoost の優位性は、RF のようなより強い学習器で顕著に現れた。
• RRF は、SVM-RFE の最適な性能に匹敵する精度を達成したが、SVM-RFE よりもはるかに高速であった（1回あたり 10 秒未満 vs. 100 秒以上）。これは、優れた効率性を示している。