[論文レビュー] A Guide to Feature Importance Methods for Scientific Inference

Fiona Katharina Ewald, Ludwig Bothmann+4 more|arXiv (Cornell University)|Apr 19, 2024

Machine Learning and Data Classification被引用数 6

ひとこと要約

損失ベースの、モデルに依存しない特徴量重要度手法の解釈を明確にし、科学的推論の不確実性を考慮した具体的な指針を提供する包括的なガイド。

ABSTRACT

While machine learning (ML) models are increasingly used due to their high predictive power, their use in understanding the data-generating process (DGP) is limited. Understanding the DGP requires insights into feature-target associations, which many ML models cannot directly provide due to their opaque internal mechanisms. Feature importance (FI) methods provide useful insights into the DGP under certain conditions. Since the results of different FI methods have different interpretations, selecting the correct FI method for a concrete use case is crucial and still requires expert knowledge. This paper serves as a comprehensive guide to help understand the different interpretations of global FI methods. Through an extensive review of FI methods and providing new proofs regarding their interpretation, we facilitate a thorough understanding of these methods and formulate concrete recommendations for scientific inference. We conclude by discussing options for FI uncertainty estimation and point to directions for future research aiming at full statistical inference from black-box ML models.

研究の動機と目的

• 異なる FI 手法がデータ生成過程 (DGP) のどの性質を捉えているかを明らかにする。
• 科学的推論の文脈におけるグローバルで損失ベース、モデル非依存の FI 手法の具体的な解釈ルールを提供する。
• 撹乱（perturbation）・限界化（marginalization）・再適合（refitting）ベースの FI 手法が、無条件の特徴–ターゲット結びつきと条件付きの結びつきにどのように関連するかを特徴づける。
• 不確実性推定のアプローチを論じ、ブラックボックス ML モデルからの将来の統計的推論の方向性を概説する。

提案手法

• 広範な FI 手法をレビューし、それらを一変量撹乱、限界化、およびモデル再適合のファミリに分類する。
• FI 推定値を無条件および条件付きの特徴–ターゲット結びつき（A1, A2, A2a, A2b）に結びつける形式的な解釈ガイドラインを提供する。
• FI が特定の依存関係を意味する場合を正当化する数学的結果と証明を提示する（証明は付録に記載）。
• 異なる条件付けスキームの下で、PFI、CFI、RFIを比較し、モデルの最適性（L2 または クロスエントロピー）に関して比較する。
• SAGE値を導入し、mSAGEvf、cSAGEvfを含み、特徴を協力ゲームとして捉える際のShapley値との関係を示す。
• 再適合ベースのアプローチとして LOCO および WVIM を論じ、それらを条件付き結びつきと関連づける。

(a) PFI

実験結果

リサーチクエスチョン

• RQ1 FI手法はどのようなタイプの特徴–ターゲット結びつき（無条件・条件付き）を明らかにし、どのような仮定の下で？
• RQ2 撹乱・限界化・再適合ベースの FI 手法は、無条件と条件付きの依存性の解釈性にどのように差があるか？
• RQ3 FI 手法は DGP について母集団レベルの信頼できる推論を提供できるか、そして不確実性はどのように推定すべきか？
• RQ4 科学的推論に用いる際の一般的な FI 手法の限界と誤解の可能性は何か？

主な発見

• PFI は Y との結びつきを示すことがあるが、無条件独立を保証するわけではない。非ゼロの PFI が X_j ⟂⊥ Y を意味するわけではない。
• CFI は特徴の依存関係を保持し、条件付きの結びつきを示すが、無条件の依存を必ずしも明らかにするとは限らない。特定の最適性条件下では、0 の CFI が条件付き独立を示すことがあり得る。
• RFI はユーザーが指定した条件付け集合 G に依存し、条件付き依存を反映しうるが、非ゼロの RFI が条件付き依存を保証するわけではない。解釈は仮定された独立性とモデルの最適性に依存する。
• SAGE および cSAGE の変種は、特徴量重要度を協力ゲームの余剰と結びつけ、解釈はモデルの最適性と選択された値関数に依存する。cSAGEvf は条件付き結びつきを示す可能性がある一方、mSAGEvf の解釈にはより強い仮定が必要。
• LOCO（および WVIM）はモデル再適合と限界化に関連し、L2 またはクロスエントロピー最適モデルの下で条件付き結びつきと整合する解釈を提供する。LOCI は共変量を残すことに焦点を当て、条件付き依存と結びつける派生です。

(b) LOCO