[論文レビュー] Feature Selection Tutorial with Python Examples

Pádraig Cunningham, Bahavathy Kathirgamanathan+1 more|arXiv (Cornell University)|Jun 11, 2021

Gaussian Processes and Bayesian Inference参考文献 22被引用数 8

ひとこと要約

このチュートリアルでは、スコアリング手法を用いた実用的でPythonで実装された特徴量選択手法を、教師あり機械学習の文脈で紹介している。主な手法として、ラッパー法、フィルター法、埋め込み法、およびPCAとLDAによる次元削減をカバーしている。特徴量選択は分類器の精度向上に限られた影響しか与えないが、主な利点はモデルの解釈可能性の向上、データ収集コストの削減、計算効率の向上にあることが示された。

ABSTRACT

In Machine Learning, feature selection entails selecting a subset of the available features in a dataset to use for model development. There are many motivations for feature selection, it may result in better models, it may provide insight into the data and it may deliver economies in data gathering or data processing. For these reasons feature selection has received a lot of attention in data analytics research. In this paper we provide an overview of the main methods and present practical examples with Python implementations. While the main focus is on supervised feature selection techniques, we also cover some feature transformation methods.

研究の動機と目的

• Pythonを用いた機械学習における特徴量選択手法の実用的でコードベースのチュートリアルを提供すること。
• 研究者がモデルの解釈性を高めるとともに、計算コストとデータ収集コストを削減する有効な特徴量サブセットを特定するのを支援すること。
• 特徴量選択が精度向上よりも、モデルの洞察力と計算効率の向上においてより大きな利点をもたらすことを示すこと。
• 研究者が推奨されるワークフローに従うように導くこと：まずランダムフォレストの重要度を用いた予備的なフィルター分析を行い、次にラッパー法に基づくサブセット選択により最適な性能を達成すること。

提案手法

• 分類器の訓練とテストを繰り返し行い、性能最適化を目的として特徴量サブセットを評価するラッパー法を用いる（例：逐次前進選択法）。
• 相関係数、相互情報量、フィッシャー基準といった統計的基準を用いて、分類器とは独立に特徴量をランク付けするフィルター法を採用する。
• L1正則化付きロジスティック回帰や決定木のように、モデル学習の過程で特徴量選択が生じる埋め込み法を適用する。
• PCAと線形判別分析（LDA）による次元削減を導入し、元の特徴量から選択しない形でデータを低次元空間に射影する。
• 効率性と性能の両立を図るために、フィルター法による特徴量ランク付けとラッパー法によるサブセット選択を組み合わせたハイブリッド戦略を採用する。
• すべての手法について、付録にリンクされた再現可能なPythonノートブックを提供し、実践的な実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師あり機械学習タスクにおいて、どの特徴量選択手法がモデル性能の向上に最も効果的か？
• RQ2 フィルター法、ラッパー法、埋め込み法は、異なるデータセットにおいてどのように関連する特徴量を特定するかを比較するとどうなるか？
• RQ3 特徴量選択は、モデルの精度を損なわせることなく、どの程度データ収集コストと計算コストを削減できるか？
• RQ4 性能向上を超えて、特徴量選択はデータ構造や特徴量の重要度に関する有意義な洞察を提供できるか？
• RQ5 精度、効率性、解釈可能性のバランスを考慮した実際の特徴量選択の最適なワークフローは何か？

主な発見

• 現代の機械学習モデルはノイズや重複する特徴量に強く、特徴量選択による分類器の精度向上は限定的である。
• 特徴量選択の主な利点は、予測を支配する特徴量が何かを明らかにし、モデルの解釈性を高めることにある。
• 計算コストは高いが、分類器の性能と強く整合するため、ラッパー法はサブセット選択に推奨される。
• ランダムフォレストの特徴量重要度は、特徴量の関連性を文脈的に理解するための予備的分析に有効である。
• ペンギンデータセットのホールドアウトセットにおいて、LDAは97％の精度を達成し、線形判別分析が次元削減と分類の両面で有効であることを示した。
• 実世界のデータの内部次元は、元の特徴量の数よりもはるかに低いことが多く、PCAやLDAのような次元削減手法の適用を支持する。