[論文レビュー] How can I choose an explainer? An Application-grounded Evaluation of Post-hoc Explanations

Sergio Jesús, Catarina Belém+5 more|arXiv (Cornell University)|Jan 21, 2021

Explainable Artificial Intelligence (XAI)参考文献 43被引用数 21

ひとこと要約

本論文は、実世界の機械学習タスクにおける後処理説明の人的意思決定への影響を分離するための応用指向の評価フレームワーク、XAI Testを提案する。フェイルセイフアナリストを対象とした制御されたユーザースタディにおいて、LIME、SHAP、TreeInterpreterの説明は、モデルスコアのみを使用した場合よりも正確性が向上するが、データのみを使用した意思決定と比較すると依然として劣っていることが判明し、説明の複雑さと意思決定の有効性の間にはトレードオフが存在することが示唆された。

ABSTRACT

There have been several research works proposing new Explainable AI (XAI) methods designed to generate model explanations having specific properties, or desiderata, such as fidelity, robustness, or human-interpretability. However, explanations are seldom evaluated based on their true practical impact on decision-making tasks. Without that assessment, explanations might be chosen that, in fact, hurt the overall performance of the combined system of ML model + end-users. This study aims to bridge this gap by proposing XAI Test, an application-grounded evaluation methodology tailored to isolate the impact of providing the end-user with different levels of information. We conducted an experiment following XAI Test to evaluate three popular post-hoc explanation methods -- LIME, SHAP, and TreeInterpreter -- on a real-world fraud detection task, with real data, a deployed ML model, and fraud analysts. During the experiment, we gradually increased the information provided to the fraud analysts in three stages: Data Only, i.e., just transaction data without access to model score nor explanations, Data + ML Model Score, and Data + ML Model Score + Explanations. Using strong statistical analysis, we show that, in general, these popular explainers have a worse impact than desired. Some of the conclusion highlights include: i) showing Data Only results in the highest decision accuracy and the slowest decision time among all variants tested, ii) all the explainers improve accuracy over the Data + ML Model Score variant but still result in lower accuracy when compared with Data Only; iii) LIME was the least preferred by users, probably due to its substantially lower variability of explanations from case to case.

研究の動機と目的

• 説明可能性技術（XAI）の評価を、忠実度やロバストネスといった代理指標ではなく、人的意思決定への実世界の影響に基づいて行うというギャップを埋めるため。
• 段階的にデータ、モデルスコア、説明を提示するユーザーに影響を与える性能の影響を分離する手法—XAI Test—を構築するため。
• 実際の金融分野における詐欺検出タスクにおいて、人間の意思決定の正確性、速度、ユーザーの認識に与える影響を、代表的な後処理説明手法（LIME、SHAP、TreeInterpreter）がどのように影響するかを実証的に評価するため。
• 技術的望ましさではなく、人間とAIの協働意思決定の実際のパフォーマンスへの影響に基づいて、説明手法を選択する根拠に基づいた指針を提供するため。

提案手法

• XAI Testは、制御された応用指向の評価フレームワークであり、情報レベルを段階的に増加させる：データのみ → データ＋モデルスコア → データ＋モデルスコア＋説明。
• この手法は、実際のユーザー（詐欺アナリスト）が実際のデータと本番稼働中の機械学習モデルを用いて、3つの異なる情報段階で実際の意思決定タスクを実施する。
• 性能指標には、意思決定の正確性、意思決定時間、再現率、および偽陽性率を含め、すべての段階で測定され、統計的比較が実施される。
• ユーザーの認識は、説明の有用性、関連性、多様性を評価するアンケートにより収集される。
• 有意差の検出には、繰り返し測定分散分析（repeated measures ANOVA）などの統計的検定が用いられ、研究結果の妥当性を確保する。
• 本フレームワークにより、実世界の環境で他のすべての変数を制御することで、説明の因果的影響を分離可能となる。

実験結果

リサーチクエスチョン

• RQ1 後処理説明を提供することで、データのみまたはデータにモデルスコアを加えた場合と比較して、詐欺アナリストの意思決定正確性が向上するか？
• RQ2 LIME、SHAP、TreeInterpreterといった異なる説明手法は、人的意思決定パフォーマンスにどのように影響を及ぼすか？
• RQ3 説明の有無が意思決定時間に与える影響は何か？正確性と効率性の間にはトレードオフがあるか？
• RQ4 最終ユーザーは、異なるXAI手法からの説明の有用性、関連性、多様性をどのように評価するか？
• RQ5 同じインスタンスに対して、異なる手法が示す特徴量の寄与度にどの程度の差があるか？

主な発見

• データのみの条件が、最も高い意思決定正確性（平均78.3％）を達成し、意思決定時間が最も遅かった。他のすべてのバージョンを上回った。
• すべての説明手法が、データ＋モデルスコア条件よりも正確性を向上させたが、いずれの手法もデータのみ条件の正確性に達しなかった。
• アナリストが最も好ましくないと感じたのはLIMEであった。これは、異なる取引に対して説明のばらつきが低いためと推測される。
• SHAPとTreeInterpreterはLIMEよりも高い説明の多様性を示し、両者の特徴量寄与度の分散に25.4％の差が認められた。
• LIMEとTreeInterpreterの間には23.5％の説明分散の差が認められ、特徴量選択の整合性が低かった。
• 同じ説明フォーマットを使用した場合、LIME、SHAP、TreeInterpreterの間で、正確性、FPR、再現率といった性能指標に有意差は認められなかった。