[論文レビュー] PowerShap: A Power-Full Shapley Feature Selection Method

Jarne Verhaeghe, Jeroen Van Der Donckt+2 more|Ghent University Academic Bibliography (Ghent University)|Jun 16, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

PowerShap は、シャプレイ値と統計的パワー計算および仮説検定を組み合わせることで、情報量の多い特徴量を効率的に特定する、新規で高速なラッパー特徴量選択手法である。この手法は、最先端のラッパー手法と同等の予測性能を達成しているが、知的な反復制御と自動ハイパーパramータチューニングモードにより、しばしば実行時間を半分以下に短縮している。

ABSTRACT

Feature selection is a crucial step in developing robust and powerful machine learning models. Feature selection techniques can be divided into two categories: filter and wrapper methods. While wrapper methods commonly result in strong predictive performances, they suffer from a large computational complexity and therefore take a significant amount of time to complete, especially when dealing with high-dimensional feature sets. Alternatively, filter methods are considerably faster, but suffer from several other disadvantages, such as (i) requiring a threshold value, (ii) not taking into account intercorrelation between features, and (iii) ignoring feature interactions with the model. To this end, we present powershap, a novel wrapper feature selection method, which leverages statistical hypothesis testing and power calculations in combination with Shapley values for quick and intuitive feature selection. Powershap is built on the core assumption that an informative feature will have a larger impact on the prediction compared to a known random feature. Benchmarks and simulations show that powershap outperforms other filter methods with predictive performances on par with wrapper methods while being significantly faster, often even reaching half or a third of the execution time. As such, powershap provides a competitive and quick algorithm that can be used by various models in different domains. Furthermore, powershap is implemented as a plug-and-play and open-source sklearn component, enabling easy integration in conventional data science pipelines. User experience is even further enhanced by also providing an automatic mode that automatically tunes the hyper-parameters of the powershap algorithm, allowing to use the algorithm without any configuration needed.

研究の動機と目的

• 高次元データセットにおける従来のラッパー特徴量選択手法の高い計算コストを低減すること。
• スクリーニング手法の限界（任意のしきい値依存、特徴量間相互作用のモデル化不足、モデル固有の特徴量相互作用を無視）を克服すること。
• 統計的パワーとシャプレイ値を用いて、ラッパーの予測力とフィルターの高速性を統合した手法を開発すること。
• 自動チューニングモードを備えることで、最小限の設定で scikit-learn ワークフローに即座に統合可能なプラグアンドプレイなソリューションを提供すること。
• さまざまな機械学習分野で効率的な特徴量選択が行えるスケーラブルでオープンソースのソリューションを提供すること。

提案手法

• PowerShap は、モデルに依存しない解釈可能性を活用して、各特徴量のモデル予測への寄与度をシャプレイ値で定量化する。
• 特徴量のシャプレイ値がランダムなベースライン特徴量と著しく異なるかどうかを統計的仮説検定で判定する。
• 最小限の反復回数を動的に決定するためのパワー計算を採用し、無駄な計算を削減する。
• 自動モードでは、パワー要件に基づいてハイパーパramータ（例：反復回数）をチューニングし、設定不要の使用を可能にする。
• 以前に選択された特徴量を除外し、再びプロセスを実行する再帰的収束モードを採用することで、高次元設定における情報量の多い特徴量の検出を向上させる。
• アルゴリズムは scikit-learn 互換の推定器として実装されており、標準的な機械学習パイプラインへのシームレスな統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラッパー特徴量選択手法が、最先端の手法と同等の性能を発揮しながら、計算時間を著しく短縮できるか？
• RQ2 統計的パワー計算をシャプレイベースの特徴量選択における反復回数最適化に効果的に応用できるか？
• RQ3 PowerShap の自動ハイパーパramータチューニングモードが、ユーザー入力なしに高い性能を維持できるか？
• RQ4 さまざまなデータセットにおいて、PowerShap はスクリーニングおよびラッパーのベースラインと比較して、特徴量選択の正確性と実行速度の両面で優れているか？
• RQ5 再帰的収束モードが、高次元で複雑なデータセットにおいて、情報量の多い特徴量の検出をどの程度向上させるか？

主な発見

• ベンチマーク実験において、PowerShap は ShapICant などの最先端のラッパー手法と同等の予測性能を達成しているが、実行時間を最大で半分以下に短縮している。
• 500個の特徴量と450個の情報量のある特徴量を含むシミュレーションでは、PowerShap の収束モードにより、検出された情報量のある特徴量の割合が38％から73％に上昇したが、ノイズ特徴量は追加されなかった。
• PowerShap の自動モードにより、ユーザーの設定なしに効果的な特徴量選択が可能となり、多様なデータセットで高い性能を維持している。
• 特に特徴量間相関やモデル相互作用が重要な状況では、従来のスクリーニング手法よりも特徴量選択の質が優れている。
• 分類および回帰のベンチマークにおいて、スピードと正確性の両面で一貫した性能向上を示しており、頑健性が確認された。
• オープンソースで scikit-learn 互換の実装により、既存のデータサイエンスワークフローへの統合が容易になり、アクセシビリティと採用促進が図られた。