[論文レビュー] General Pitfalls of Model-Agnostic Interpretation Methods for Machine Learning Models

Christoph Molnar, Gunnar König+7 more|arXiv (Cornell University)|Jul 8, 2020

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

この論文は、PDP、PFI、SHAPなどのモデルに依存しない解釈手法における深刻な落とし穴を特定し、説明する。特徴量の依存関係、モデルの一般化不能性、あるいは正当でない因果的解釈が原因で誤った結論に至る可能性がある。実務家向けの実用的ガイダンスを提供するとともに、信頼性があり因果的感度を持つ機械学習モデルの解釈に関する未解決の研究課題を浮き彫りにする。

ABSTRACT

An increasing number of model-agnostic interpretation techniques for machine learning (ML) models such as partial dependence plots (PDP), permutation feature importance (PFI) and Shapley values provide insightful model interpretations, but can lead to wrong conclusions if applied incorrectly. We highlight many general pitfalls of ML model interpretation, such as using interpretation techniques in the wrong context, interpreting models that do not generalize well, ignoring feature dependencies, interactions, uncertainty estimates and issues in high-dimensional settings, or making unjustified causal interpretations, and illustrate them with examples. We focus on pitfalls for global methods that describe the average model behavior, but many pitfalls also apply to local methods that explain individual predictions. Our paper addresses ML practitioners by raising awareness of pitfalls and identifying solutions for correct model interpretation, but also addresses ML researchers by discussing open issues for further research.

研究の動機と目的

• モデルに依存しない手法を用いた機械学習モデルの解釈における一般的で高リスクの落とし穴について、機械学習の実務家に意識を高めてもらうこと。
• 特徴量の依存関係、モデルの一般化不能性、誤った因果的解釈といった問題が、誤った結論を導く仕組みを特定し、具体的に説明すること。
• PDP、PFI、SHAPなどの解釈手法の正しい適用のための実用的解決策とガイドラインを提供すること。
• 因果的解釈、不確実性推定、高次元または相互作用を示す特徴量の取り扱いに関する、信頼性のある解釈手法の開発における未解決の研究課題を浮き彫りにすること。
• 診断ツール、解釈手法のメタ評価、モデルおよびデータ分布の変化に対する耐性に関するさらなる研究を促進すること。

提案手法

• PDP、PFI、ALE、SHAP、LIMEを含む、グローバルなモデルに依存しない解釈手法における一般的な落とし穴を体系的にレビューし、分類すること。
• 合成データおよび実世界の例を用いて、特徴量の依存関係、モデルの過学習、高次元設定が解釈結果にどのように歪みをもたらすかを示すこと。
• 構造的因果モデル（SCM）を用いて、予測的特徴量の重要度（PFIや係数によるもの）が因果的重要度を示すとは限らないことを示すこと。
• PDPが平均因果効果として解釈可能となる条件を提示し、有効な調整集合とデータ生成プロセスに関する強い仮定を要件とする。
• 特徴量の重要度スコアを因果的効果として解釈する際の制限を議論し、特に特徴量が交絡要因であるか、因果的連鎖に含まれる場合に顕著であることを指摘すること。
• 誤った解釈を検出するための診断ツールの必要性を提起し、相互作用や依存関係を示す特徴量を堅牢に取り扱える手法に関する研究の必要性を強調すること。

実験結果

リサーチクエスチョン

• RQ1 PDP や PFI などのモデルに依存しない解釈手法が、誤ったまたは誤った解釈を生じる条件は何か？
• RQ2 特徴量の依存関係や相互作用は、PDP や ALE などのグローバル解釈手法の妥当性にどのように影響を与えるか？
• RQ3 PFI や SHAP からの特徴量の重要度スコアが、因果的効果として誤って解釈される状況はどのようなものか？また、因果的解釈を行うために必要な仮定は何か？
• RQ4 実務家は、モデルの一般化能力の欠如や過学習のため、解釈が信頼できない状況をどのように特定できるか？
• RQ5 モデルに依存しない手法を用いた複雑な機械学習モデルの信頼性があり因果的感度を持つ解釈を実現するための、未解決の研究課題は何か？

主な発見

• 特徴量が依存している場合、PDP は訓練データ分布に存在しない非現実的なデータの組み合わせを平均化するため、誤った結果を生じる可能性がある。
• 特徴量が相関している場合、PFI は1つの特徴量をランダムに並び替えることで、その相関する特徴量に間接的に影響を与えるため、誤った重要度順位を生じる可能性がある。
• ランダムフォレストや勾配ブースティングなどのモデルから得られる特徴量の重要度スコアは、因果的関連性を示すとは限らない。モデルが真の原因ではなく代理変数や交絡要因に依存している可能性がある。
• モデルの性能が良好であっても、PFI 値がゼロより大きいからといって、その特徴量が目的変数の原因であるとは限らない。それは相関要因や結果である可能性がある。
• PDP が平均因果効果として解釈可能となるのは、強い仮定（例えば、有効な調整集合の存在）を満たしている場合に限る。
• 構造的因果モデル（SCM）からのデータに対して線形モデルを適用すると、非因果的特徴量（例：$x_3$、$x_4$、$x_5$）に対しても非ゼロの係数が割り当てられることがある。これは、予測的関連性 ≠ 因果的関連性であることを示している。