[論文レビュー] Computationally Efficient Feature Significance and Importance for Machine Learning Models

Enguerrand Horel, Kay Giesecke|arXiv (Cornell University)|May 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 8

ひとこと要約

本稿では、モデルの再適合を必要とせず、有限標本における統計的有意性と特徴量の重要度を評価する計算的に効率的で非漸近的な手法である単一特徴量導入検定（SFIT）を提案する。SFITは、各特徴量の寄与度を、特徴量を含むモデルと含まないモデルの損失の差分によって評価し、特徴量の有意な寄与や高次相互作用の強固な検出を可能にするとともに、多様なモデルタイプやデータ分布において有限標本の統計的保証を維持する。

ABSTRACT

We develop a simple and computationally efficient significance test for the features of a machine learning model. Our forward-selection approach applies to any model specification, learning task and variable type. The test is non-asymptotic, straightforward to implement, and does not require model refitting. It identifies the statistically significant features as well as feature interactions of any order in a hierarchical manner, and generates a model-free notion of feature importance. Experimental and empirical results illustrate its performance.

研究の動機と目的

• 機械学習モデルにおける特徴量有意性をテストする計算的に効率的でモデルフリーな手法の開発。
• モデル再訓練を必要とせず、階層的に有意な特徴量および高次相互作用を同定すること。
• 特徴量の相関に左右されず、データやモデルの分布を仮定しない、強固な非漸近的有意性検定の提供。
• 高次元設定における計算コストが高く、漸近的に有効な有意性検定の実用的で実装にやさしい代替手法の提供。
• ニューラルネットワークのような複雑なモデルの解釈可能性を高めるために、予測に重要な特徴量および相互作用を同定すること。

提案手法

• SFITは、切片項のみのモデルと、切片項に加えて1つの特徴量を追加したモデルとの間の損失差分を評価する前向き選択的手法を適用する。
• 特徴量を導入した際の損失の低下に基づいて、検定統計量を計算し、その特徴量の周辺的寄与度を測定する。
• タイプI誤りを制御するために、モデルランダマイゼーション手順を用いて臨界値を推定し、ブートストラップや漸近的近似を必要としない。
• 高次相互作用への応用は、階層的に組み合わせを順次テストすることで自然に拡張可能である。
• ニューラルネットワークでは、パラメータ構造を活用して高次相互作用のテストに必要な探索空間を縮小する。
• 特徴量の条件付き分布からのサンプリングや特定のモデル形式の仮定を必要としないため、広範な適用が可能である。

実験結果

リサーチクエスチョン

• RQ1 モデル再適合を必要とせず、有限標本においても有効な計算的に効率的な特徴量有意性検定を構築できるか？
• RQ2 相関が高い状況やノイズが多い状況下で、SFITは有意な特徴量および相互作用をどれほど正しく検出できるか？
• RQ3 コリネアリティに対してロバストで、計算効率に優れるLOCO やノックオフスと比較して、SFITはどの程度優れているか？
• RQ4 予測性能の劣化を伴わず、深層ニューラルネットワークのような複雑なモデルにおいても、重要な特徴量を信頼性高く同定できるか？
• RQ5 SFITにおけるパラメータ α と β は、タイプI誤りの制御と統計的検出力のトレードオフにどのように影響を与えるか？

主な発見

• シミュレーションでは、高相関性を持つ回帰設定下でSFITは両方の有意特徴量を正しく同定したが、LOCOはコリネアリティのため両者を有意でないと判定し、100%の確率で正しく有意であると同定した。
• SFITはLOCOに比べて優れた計算効率を示し、特に高次元設定下で顕著な実行時間の短縮を達成した。
• タイプI誤りの制御が強く保たれ、複数のシミュレーション設定において実効誤差率が名目上の α 水準に近く維持された。
• UCI クレジットカード延滞データセットでは、75個の特徴量のうち24個の一次的有意特徴量がSFITによって同定され、二次的相互作用は検出されなかった。
• 24個の選択された特徴量に基づいてニューラルネットワークを再訓練した結果、AUCは0.775から0.765にわずかに低下し、バランス精度は0.707から0.701に低下した。
• モデルランダマイゼーション手順により、臨界値 β がうまく推定され、実用的なタイプI誤り制御が達成された。