[論文レビュー] Comparing Explanation Methods for Traditional Machine Learning Models Part 1: An Overview of Current Methods and Quantifying Their Disagreement

Montgomery L. Flora, Corey K. Potvin+2 more|arXiv (Cornell University)|Nov 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本研究は、従来の機械学習モデルにおけるグローバルおよびローカル解釈手法を評価・比較し、特徴量の順位付けにおいて顕著な不一致が生じることを示しているが、上位特徴量については中程度の一致が見られる。激しい天候および道路温度予測モデルを用いた分析から、十分なサンプリングが行われれば、異なる手法による特徴量効果曲線は良好に一致するが、特徴量重要度の順位付けは著しく異なることが判明。これは、解釈手法の選択を意識した解釈の重要性を示しており、SHAPの代替として未だ十分に検討されていないTree Interpreterの有効性を提言する。

ABSTRACT

With increasing interest in explaining machine learning (ML) models, the first part of this two-part study synthesizes recent research on methods for explaining global and local aspects of ML models. This study distinguishes explainability from interpretability, local from global explainability, and feature importance versus feature relevance. We demonstrate and visualize different explanation methods, how to interpret them, and provide a complete Python package (scikit-explain) to allow future researchers to explore these products. We also highlight the frequent disagreement between explanation methods for feature rankings and feature effects and provide practical advice for dealing with these disagreements. We used ML models developed for severe weather prediction and sub-freezing road surface temperature prediction to generalize the behavior of the different explanation methods. For feature rankings, there is substantially more agreement on the set of top features (e.g., on average, two methods agree on 6 of the top 10 features) than on specific rankings (on average, two methods only agree on the ranks of 2-3 features in the set of top 10 features). On the other hand, two feature effect curves from different methods are in high agreement as long as the phase space is well sampled. Finally, a lesser-known method, tree interpreter, was found comparable to SHAP for feature effects, and with the widespread use of random forests in geosciences and computational ease of tree interpreter, we recommend it be explored in future research.

研究の動機と目的

• 従来のMLモデルにおける現在の解釈手法を統合・比較し、解釈可能性と説明可能性、およびローカルとグローバル解釈の違いを明確化すること。
• 代表的な解釈手法同士の特徴量重要度順位付けおよび特徴量効果曲線における不一致の程度を定量的に評価すること。
• 研究者がこれらの手法を探索・適用できる実用的なオープンソースPythonパッケージ（scikit-explain）を提供すること。
• 手法の不一致が生じる状況において、実務家が適切に解釈手法を選択・解釈するのを支援すること。
• 特に深刻な影響を及える分野（例：激しい天候予測）において、手法選択の重要性を強調し、MLモデルへの信頼構築に寄与すること。

提案手法

• 本研究では、激しい天候予測および凍結寸前の道路表面温度予測という2つの実世界のML応用において、SHAP、LIME、パーミュテーション重要度、ジニ重要度、およびTree Interpreter（TI）といった複数の解釈手法を評価した。
• 上位10個の特徴量について、相関係数と一致度指標を用いて、手法間の特徴量重要度順位付けを比較した。
• 特徴量効果曲線を可視化し、特に十分にサンプリングされたフェーズ空間における形状と大きさの一致度を定量的に比較した。
• 解釈出力の計算と可視化を標準化するために、独自のPythonパッケージ「scikit-explain」を開発・採用した。
• 手法ペア間の一致度を統計的測度（特にコンcordance係数）を用いて不一致を定量化した。
• 実験データとして、Warning Decision Support System - Integrated Publishing System（WoFS）および道路表面温度データセットを用い、これらのデータに基づいてモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 従来のMLモデルにおいて、異なる解釈手法は特徴量重要度順位付けにおいてどのように比較されるか？
• RQ2 特徴量入力の順位付けにおいて、解釈手法は上位特徴量についてどの程度一致するか？
• RQ3 異なる入力条件の下で、異なる解釈手法が生成する特徴量効果曲線はどの程度一貫性を示すか？
• RQ4 特徴量効果推定の観点から、Tree Interpreter（TI）はSHAPに比べて相対的にどの程度のパフォーマンスを示すか？
• RQ5 解釈手法間の不一致は、激しい天候予測のような高リスク分野のMLアプリケーションにおける信頼性と解釈にどのように影響を与えるか？

主な発見

• 平均して、2つの解釈手法は上位10個の特徴量のうち6個の同一特徴量を特定するが、順位付けの一致は上位10個のうち2〜3個にとどまり、順位順序に顕著な不一致が生じていることが示された。
• フェーズ空間が十分にサンプリングされた場合には、異なる手法による特徴量効果曲線が高精度で一致しており、局所的なモデル行動の推定が信頼できることが示された。
• Tree Interpreter（TI）が生成する特徴量効果曲線はSHAPとほぼ完全に一致しており、グローバル効果の可視化において強い一貫性を示している。
• 相関する特徴量に起因する既知の問題が存在するにもかかわらず、TIの特徴量重要度順位付けはジニ重要度と同等の水準であり、実務応用における有用性が示唆された。
• 本研究では、現在の研究における重要なギャップを特定した：解釈手法における特徴量相互作用の分析がほとんど行われておらず、2つを超える特徴量の相互作用は計算的に扱いにくいためである。
• 計算効率が高く、優れたパフォーマンスを示すことに加え、特にランダムフォレストが広く使われる地球科学分野において、Tree Interpreterのさらなる検討を提案する。