[論文レビュー] Unrestricted Permutation forces Extrapolation: Variable Importance Requires at least One More Model, or There Is No Free Variable Importance

Giles Hooker, Lucas Mentch+1 more|arXiv (Cornell University)|May 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 38

ひとこと要約

本論文はブラックボックスモデルにおける特徴重要度のためのpermute-and-predict法を批判し、外挿によって相関した特徴を過度に強調し得ることを示し、再学習または条件付き摂動アプローチをより信頼できる代替として提唱する。

ABSTRACT

This paper reviews and advocates against the use of permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because they are both model-agnostic and depend only on the pre-trained model output, making them computationally efficient and widely available in software. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. The purpose of our work here is to (i) review this growing body of literature, (ii) provide further demonstrations of these drawbacks along with a detailed explanation as to why they occur, and (iii) advocate for alternative measures that involve additional modeling. In particular, we describe how breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects across various model setups and find support for previous claims in the literature that PaP metrics can vastly over-emphasize correlated features in both variable importance measures and partial dependence plots. As an alternative, we discuss and recommend more direct approaches that involve measuring the change in model performance after muting the effects of the features under investigation.

研究の動機と目的

• PaP（permute-and-predict）法による変数重要度および関連プロット（VI、PDP、ICE）の欠陥を示す文献をレビューする。
• 特徴依存性がPaP測定値に外挿バイアスを引き起こすことを、シミュレーションと説明を用いて示す。
• 外挿を回避するために追加のモデリングや条件付き摂動を必要とする代替の重要度指標を提唱する。
• ブラックボックスモデルの解釈における実践的含意を論じ、再学習または条件付き摂動を含むゴールドスタンダード手法を提案する。

提案手法

• PaP測定値のバイアスを例示するため、10特徴量の単純なシミュレート線形モデルと統制された相関構造を提示する。
• 基礎関数を推定するためにランダムフォレストとニューラルネットワークを訓練し、VI^π、VI^o、PDP、ICEを計算する。
• 標準化下の線形モデルにおける置換重要度と二乗係数の関係を理論的に結びつける（定理1）。
• 等高線図、ICE、PDP分析を用いて、相関ρおよびサンプルサイズNを変化させたときの外挿効果を可視化する。
• 条件付き摂動や再学習を含む代替案（LOCO、knockoffs、model class reliance）とPaPを比較する。
• 木ベースモデルとニューラルネットの外挿メカニズムを、potential nearest neighbors（pNN）およびリーフの概念を用いて論じる。
• より頑健な重要度指標をいつ、どのように使用すべきかの指針を提供する。

実験結果

リサーチクエスチョン

• RQ1 特徴が統計的に従属している場合、PaPベースの変数重要度はどのように振る舞うか。
• RQ2 相関した特徴がPaP法によって特定の変数を過大評価したり真の重要度を誤って表す程度はどれくらいか。
• RQ3 残りの特徴を条件づける、またはモデルを再学習する代替アプローチは、特徴重要度の外挿バイアスを緩和できるか。
• RQ4 標準化下の置換重要度と線形モデル係数の間にどのような理論的関係が存在するか。
• RQ5 ブラックボックスモデルのより信頼性の高い解釈を確保するための実践的推奨は何か。

主な発見

• PaP測定は特徴が従属している場合、変数重要度と部分依存プロットの両方で相関特徴を過度に強調し得る。
• 標準化された特徴を持つ線形モデルでは、置換重要度は係数の二乗と特徴の周辺平方和の積に対応し、係数の大きさと一致するが、相関下ではRFやNNなどの柔軟なモデルでは外挿の影響でこの関係が崩れる。
• 外挿により、PaPはデータがほとんどない領域で予測を評価し、相関特徴の重要性が過大評価される。
• 相関下では、Partial DependenceとICEプロットが特徴効果を誤って表す可能性があり、ニューラルネットはランダムフォレストより不安定性が高い。
• 残りの特徴を条件づけるまたはモデルを再学習する代替手法（LOCO、条件付きランダム化検定、knockoffsなど）は外挿を回避し、より信頼性の高い重要度評価を提供する。
• 条件付けと再学習を組み合わせたフレームワークを、特徴重要度を評価するゴールドスタンダードとして提案するが、問題から完全には免れていない。）