[論文レビュー] Evaluating Explainable AI: Which Algorithmic Explanations Help Users Predict Model Behavior?

Peter Hase, Mohit Bansal|arXiv (Cornell University)|May 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 24

ひとこと要約

本研究では、テキストおよび表形式分類タスクにおけるモデル行動の予測能力を向上させるために、LIME、Anchor、意思決定境界、プロトタイプ、および複合手法の5つのアルゴリズム的手法の説明を評価している。制御された人間被験を用いて、表形式データではLIMEが類似性の向上に寄与し、プロトタイプ手法では逆説的予測の正確性が向上することが判明したが、説明の質に関するユーザーの評価は、有効性を予測しないことがわかった。

ABSTRACT

Algorithmic approaches to interpreting machine learning models have proliferated in recent years. We carry out human subject tests that are the first of their kind to isolate the effect of algorithmic explanations on a key aspect of model interpretability, simulatability, while avoiding important confounding experimental factors. A model is simulatable when a person can predict its behavior on new inputs. Through two kinds of simulation tests involving text and tabular data, we evaluate five explanations methods: (1) LIME, (2) Anchor, (3) Decision Boundary, (4) a Prototype model, and (5) a Composite approach that combines explanations from each method. Clear evidence of method effectiveness is found in very few cases: LIME improves simulatability in tabular classification, and our Prototype method is effective in counterfactual simulation tests. We also collect subjective ratings of explanations, but we do not find that ratings are predictive of how helpful explanations are. Our results provide the first reliable and comprehensive estimates of how explanations influence simulatability across a variety of explanation methods and data domains. We show that (1) we need to be careful about the metrics we use to evaluate explanation methods, and (2) there is significant room for improvement in current methods. All our supporting code, data, and models are publicly available at: https://github.com/peterbhase/InterpretableNLP-ACL2020

研究の動機と目的

• アルゴリズム的手法による説明が人間の類似性（新しい入力に対するモデル行動の予測能力）に与える影響を分離・測定すること。
• 制御された人間被験を用いて、テキストおよび表形式データの両領域における説明手法を評価すること。
• 説明の質に関する主観的ユーザー評価が、類似性タスクにおける実際の有効性と相関するかどうかを検証すること。
• どの説明手法が、モデル行動の理解を最も信頼性高く向上させるかを特定すること。
• 類似性をコア指標とする、包括的かつ信頼性の高い説明手法のベンチマークを提供すること。

提案手法

• 前方類似性（入力と説明が与えられたもとでのモデル出力の予測）および逆説的類似性（入力の摂動後のモデル出力の予測）の2種類の類似性タスクを実施した。
• 回答漏れを防ぐために、テストインスタンスとは別個の説明対象例を用いた。
• ユーザーがラベルの当てずっぽうで成功しないように、モデルの正答率に合わせてデータをバランスさせた。
• ユーザーがすべての入力に対して予測を行うことを強制し、過度に特化した説明に偏るのを避ける。
• LIME、Anchor、意思決定境界（潜在空間の走査）、プロトタイプ（事例ベース推論）、およびすべての説明を組み合わせた複合手法の5つの説明手法を評価した。
• 類似性タスクにおける予測力の予測力としての有効性を評価するため、説明の質に関する主観的数値評価を収集した。

実験結果

リサーチクエスチョン

• RQ1 どのアルゴリズム的手法が、前方および逆説的予測タスクにおける人間ユーザーのモデル行動類似性能力を最も効果的に向上させるか？
• RQ2 説明の質に関するユーザーの主観的評価は、類似性タスクにおける実際のパフォーマンスをどの程度予測できるか？
• RQ3 説明手法は、テキストおよび表形式データの両領域で類似性を向上させるか、それともドメイン固有の影響を受けるか？
• RQ4 複数の説明手法を組み合わせた（複合手法）ことで、個別の手法よりも類似性が向上するか？
• RQ5 データ分布や説明生成時間などの混同要因は、説明有効性の評価にどのように影響するか？

主な発見

• LIMEは、表形式分類タスクにおいて、前方および逆説的類似性の両方を有意に向上させた。
• プロトタイプ手法は、テキストおよび表形式データの両領域で逆説的類似性を向上させ、他の手法よりも優れた性能を示した。
• テキストドメインでは、一貫して前方および逆説的タスクの両方で類似性を向上させる説明手法は存在せず、プロトタイプおよび複合手法が平均的に最も優れたパフォーマンスを示した。
• 説明の質に関する主観的ユーザー評価は、類似性タスクにおける説明の有効性を予測しないことが判明し、主観的有用性と実際の有用性の間には乖離が生じていることが示された。
• 複合説明手法は、品質評価では高く評価されたが、いずれのデータドメインでも類似性が向上しなかった。これは、説明を組み合わせることが常にユーザー理解を向上させるわけではないことを示唆している。
• 本研究は、類似性に与える説明手法の影響を、包括的かつ制御された評価として初めて提供した。その結果、大多数の手法に限定的な有効性が認められ、より良い評価指標および改善された説明技術の開発が急務であることが明らかになった。