[論文レビュー] Shap-Select: Lightweight Feature Selection Using SHAP Values and Regression

Egor Kraev, Baran Koseoglu+2 more|arXiv (Cornell University)|Oct 9, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文では、検証セット上でSHAP値と統計的有意性検定を用いて線形回帰またはロジスティック回帰による特徴選択をガイドする、軽量で解釈可能な特徴選択フレームワーク、shap-selectを提案する。計算コストを最小限に抑えながら最先端の性能を達成し、クレジットカード不正検知データセットにおいて、わずか6つの特徴を選択しながらも高い精度（0.9996）とF1スコア（0.8701）を維持しており、Boruta、RFE、HISEL、およびベースラインのSHAPに基づく手法をすべて上回る効率性と有効性を示した。

ABSTRACT

Feature selection is an essential process in machine learning, especially when dealing with high-dimensional datasets. It helps reduce the complexity of machine learning models, improve performance, mitigate overfitting, and decrease computation time. This paper presents a novel feature selection framework, shap-select. The framework conducts a linear or logistic regression of the target on the Shapley values of the features, on the validation set, and uses the signs and significance levels of the regression coefficients to implement an efficient heuristic for feature selection in tabular regression and classification tasks. We evaluate shap-select on the Kaggle credit card fraud dataset, demonstrating its effectiveness compared to established methods such as Recursive Feature Elimination (RFE), HISEL (a mutual information-based feature selection method), Boruta and a simpler Shapley value-based method. Our findings show that shap-select combines interpretability, computational efficiency, and performance, offering a robust solution for feature selection.

研究の動機と目的

• 機械学習における高次元データの課題に対処すること。ここでの問題は、不要または重複する特徴がモデル性能を低下させ、過学習のリスクを増大させることである。
• 計算効率が良く、解釈可能な特徴選択手法を開発すること。これにより、モデルの複雑さを低減しながらも予測性能を維持できるようにする。
• SHAP値と統計的有意性検定を統合し、強力でヒューリスティックに基づく特徴選択フレームワークを構築すること。
• 金融および医療分野のような、解釈可能性と効率性が重要な分野における実世界の表形式データセットに対して、この手法を評価すること。
• 実務家が生産環境の機械学習パイプラインで簡単にこの手法を適用できるオープンソースツールを提供すること。

提案手法

• フレームワークは、訓練済みモデルを用いて検証セット上で全特徴のSHAP値を計算する。
• 各特徴のSHAP値に対して、目的変数の線形回帰またはロジスティック回帰を実行する。
• 回帰係数の符号および統計的有意性（p値）に基づいて特徴を選択する。
• 非有意な係数（p > 0.05）を1回のパスで逐次削除する。
• ベースモデルを異なる特徴サブセットで再訓練しないため、計算効率が保証される。
• 特徴選択を制御する信頼水準（デフォルト5%）を設定し、妥当性を検証するための感度分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 SHAP値と回帰の有意性検定を組み合わせることで、高次元の表形式データにおける効果的かつ効率的なヒューリスティックな特徴選択が可能かどうか。
• RQ2 Boruta、RFE、HISEL、および単純なSHAPに基づく選択手法と比較して、shap-selectは正確性、F1スコア、実行時間の観点でどのように差をつけるか。
• RQ3 この手法を繰り返し適用することでモデル性能が向上するか、それとも低下するか。
• RQ4 特徴選択の最適な信頼水準は何か。また、この選択に伴う性能への感受性はどの程度か。
• RQ5 特にデータ量が少ない状況やノイズが多い環境において、選択された特徴数を最小限に抑えながらも高い性能を維持できるか。

主な発見

• shap-selectは、6つの特徴のみを選択しながらも、最高のF1スコア（0.870056）とほぼ完璧な精度（0.999596）を達成し、BorutaおよびRFEを両方の指標で上回った。
• 実行時間は21.8秒であり、Boruta（95.85秒）やHISEL（109.03秒）よりも顕著に速く、Borutaがわずかに高い精度を達成したにもかかわらず、その差は顕著であった。
• RFEおよびshap-selectionは、より速い実行時間であったが、F1スコアおよび正確性の点でshap-selectに劣った。
• HISELは全30特徴を選択し、最も遅い実行時間（109.03秒）を記録したが、F1スコアは最低（0.858757）であり、効率性と性能のトレードオフが顕著に現れた。
• shap-selectを繰り返し適用するとモデル性能が低下したため、1回のパスで最適であることが示された。
• 感度分析において、5%の信頼水準が効果的で、異なる水準でも性能の安定性が確認されたため、その妥当性が裏付けられた。