[論文レビュー] Please Stop Permuting Features: An Explanation and Alternatives.

Giles Hooker, Lucas Mentch|arXiv (Cornell University)|May 1, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 87

ひとこと要約

この論文は、特徴量の依存関係を人工的に破壊することで、ブラックボックスモデルの解釈に根本的な欠陥をもたらすとして、解釈のための permute-and-predict (PaP) 法の根本的な問題を主張している。特に相関のある特徴量が存在する場合には、誤った解釈を生じる。本稿では、特徴量の削除、条件付き順列、モデル蒸留といった代替手法を提案し、より信頼性の高いモデル解釈指標を提供することを目的としている。

ABSTRACT

This paper advocates against permute-and-predict (PaP) methods for interpreting black box functions. Methods such as the variable importance measures proposed for random forests, partial dependence plots, and individual conditional expectation plots remain popular because of their ability to provide model-agnostic measures that depend only on the pre-trained model output. However, numerous studies have found that these tools can produce diagnostics that are highly misleading, particularly when there is strong dependence among features. Rather than simply add to this growing literature by further demonstrating such issues, here we seek to provide an explanation for the observed behavior. In particular, we argue that breaking dependencies between features in hold-out data places undue emphasis on sparse regions of the feature space by forcing the original model to extrapolate to regions where there is little to no data. We explore these effects through various settings where a ground-truth is understood and find support for previous claims in the literature that PaP metrics tend to over-emphasize correlated features both in variable importance and partial dependence plots, even though applying permutation methods to the ground-truth models do not. As an alternative, we recommend more direct approaches that have proven successful in other settings: explicitly removing features, conditional permutations, or model distillation methods.

研究の動機と目的

• 特徴量の依存関係が存在する状況で、permute-and-predict (PaP) 法がなぜ誤った解釈を生じるかを説明すること。
• PaP 法が、真のモデルに適用された場合でも、相関のある特徴量の重要度や部分的依存プロットにおいて過剰に強調することを示すこと。
• 既知の問題にもかかわらず広く使用されている PaP 法の根本的失敗要因を分析することで、その使用を疑問視すること。
• 特徴量の削除、条件付き順列、モデル蒸留といったより信頼性の高い直接的な解釈手法を提唱すること。
• 真の挙動が分かっている制御された環境での実証的証拠を提供し、PaP 法が失敗する一方で代替手法が成功する事例を示すこと。

提案手法

• 保証データにおける自然な特徴量の依存関係を破壊することで、特徴量の順列がモデルの外挿に与える影響を分析する。
• 真のモデルの挙動が分かっている制御実験を用いて、特徴量の依存関係が PaP 診断に与える影響を隔離する。
• 変数重要度や部分的依存などの PaP ベース指標を、特徴量の削除や条件付き順列といった代替手法と比較する。
• 特徴量の依存関係を保持するように設計された、代替モデルを訓練するためのモデル蒸留を手法として採用する。
• 予測された特徴量の重要度や部分的依存の傾向を、真のモデルの挙動と比較することで、解釈の質を評価する。
• PaP 法が外挿を強制するスパースな特徴量空間の領域で特に歪んだ出力を生じる点に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 なぜ特徴量が依存関係を持つ場合、permute-and-predict 法は誤った解釈を生じるのか？
• RQ2 順列処理中に特徴量の依存関係が破壊されると、どのようにして相関のある特徴量の重要度や部分的依存プロットで過大評価が生じるのか？
• RQ3 真のモデルに適用された場合でも、PaP 法が制御された環境でどの程度失敗するのか？
• RQ4 条件付き順列やモデル蒸留といった代替手法が、より正確で信頼性の高いモデル解釈を提供できるか？
• RQ5 特徴量の削除やモデル蒸留は、PaP 法と比較して、データ内の真の関数的関係をどの程度正確に保持できるか？

主な発見

• PaP 法は、特徴量空間のスパースな領域への強制的外挿により、相関のある特徴量の重要度や部分的依存プロットにおいて過剰に強調する。
• 真のモデルに適用された PaP 法ですら誤った結果を生じるため、欠陥は手法自体に内在しており、モデル固有の誤差とは無関係である。
• 順列処理中に特徴量の依存関係が破壊されると、データがスパースな領域でのモデル予測が行われ、特徴量効果の解釈が歪められる。
• 条件付き順列や特徴量の削除は、自然な特徴量関係を保持し、外挿を回避することで、より正確な解釈を可能にする。
• 特徴量の依存関係を保持するモデル蒸留手法は、PaP よりも忠実な代替モデルを生成し、解釈性を向上させる。
• 真の挙動が分かっている環境では、PaP ベースの診断は、特に強い特徴量相関がある場合には、真の特徴量効果から系統的にずれる。