[論文レビュー] A Framework for Evaluating Post Hoc Feature-Additive Explainers

Zachariah Carmichael, Walter J. Scheirer|arXiv (Cornell University)|Jun 15, 2021

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、モデルの加法的構造から直接導かれる真値と比較することで、後から説明する特徴量追加型の説明手法を客観的に評価するフレームワークを提案する。実証的に、LIME や SHAP といった一般的な手法ですら、高次元または相互作用のあるモデルでは誤った説明を生じることが判明した。SHAP は優れた忠実度を示すが、複雑な条件下では依然として失敗する。

ABSTRACT

Many applications of data-driven models demand transparency of decisions, especially in health care, criminal justice, and other high-stakes environments. Modern trends in machine learning research have led to algorithms that are increasingly intricate to the degree that they are considered to be black boxes. In an effort to reduce the opacity of decisions, methods have been proposed to construe the inner workings of such models in a human-comprehensible manner. These post hoc techniques are described as being universal explainers - capable of faithfully augmenting decisions with algorithmic insight. Unfortunately, there is little agreement about what constitutes a "good" explanation. Moreover, current methods of explanation evaluation are derived from either subjective or proxy means. In this work, we propose a framework for the evaluation of post hoc explainers on ground truth that is directly derived from the additive structure of a model. We demonstrate the efficacy of the framework in understanding explainers by evaluating popular explainers on thousands of synthetic and several real-world tasks. The framework unveils that explanations may be accurate but misattribute the importance of individual features.

研究の動機と目的

• 高利害な AI 応用分野における後から説明する手法の客観的真値評価の欠如に対処すること。
• 主観的評価や代理指標に依存する既存の評価手法が説明の忠実度を保証できない理由を特定すること。
• 合成および実世界のモデルを用いて、包括的かつ客観的な説明手法の分析を可能にする体系的なフレームワークを開発すること。
• 数千の合成タスクおよび実データセット上で、代表的な説明手法（LIME、SHAP、SHAPR、PDP、MAPLE）の性能を評価すること。
• 高次元性および複雑な特徴量相互作用の条件下での説明手法の限界を明らかにすること。

提案手法

• 加法的特徴量寄与が明確に分かっている合成モデルを生成するテストベッドを構築し、真値として用いる。
• MatchEffects アルゴリズムを設計し、広範なモデルクラスに対してその加法的効果を抽出することで、後から説明する手法へのマッピングを実現する。
• 正規化平均二乗誤差（NRMSE）およびコサイン距離を用いて、説明手法の出力と真値を定量的に比較する。
• 制御された特徴量相互作用と次元数を備えた合成タスクおよび実世界のデータセット（例：COMPAS、ボストン住宅価格）で説明手法を評価する。
• ストレス状態下でのモデル全体における最悪ケースの説明を可視化し、説明手法の信頼性を評価する。
• 説明が一見妥当に見えるにもかかわらず、誤った符号や大きさの特徴量寄与を割り当てるといった誤認知を検出するためにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 モデルの加法的構造から導かれる真値と比較した場合、一般的な後から説明する手法はどの程度の性能を示すか？
• RQ2 高次元または相互作用のあるモデルでは、LIME や SHAP といった手法が特徴量の重要度をどれほど誤って割り当てるのか？
• RQ3 客観的評価フレームワークは、主観的または代理評価手法では見えない失敗を検出できるか？
• RQ4 特徴量相互作用や次元数といったモデルの特性の中で、説明手法の忠実度を最も強く低下させる要因は何か？
• RQ5 最悪ケースのインスタンスを検討した場合、異なる説明手法の説明品質はどのように変動するか？

主な発見

• SHAP は他の説明手法を常に上回り、ボストン住宅価格データセットでは NRMSE 0.129 を達成した。一方、LIME は高い誤差（NRMSE = 3.04）を示し、特徴量の重要度を誤って割り当てた。
• 一見妥当に見える説明でも忠実度に欠けることがある：複数の説明手法が特徴量に対して逆符号の寄与を割り当てており、根本的な誤表現を示している。
• 評価対象のすべての説明手法（SHAP を含む）は、高次元設定や高次の相互作用を持つモデルでは、次第に失敗し始める。
• LIME、PDP、SHAPR が生み出す最悪ケースの説明には、一見合理的に見えるにもかかわらず、誤った寄与の大きさや符号の誤認知といった体系的な誤りが見られた。
• フレームワークにより、集計指標だけでは不十分であることが判明した。最悪ケースの性能が、高利害分野における説明手法の有用性を制限する。
• LIME や PDP のような代理モデルからの説明は、特徴量の独立性仮定が破られる際、特に不安定で不正確になりやすい。