[論文レビュー] Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals.

Xi Ye, Rohan Nair+1 more|arXiv (Cornell University)|Apr 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用数 7

ひとこと要約

本稿では、機械的読解（MRC）における説明の評価手法を提案し、現実的な反事後入力シナリオ下でのモデル行動を反映する程度をテストすることで、説明の質を評価する。ペアワイズ説明手法が、しばしば忠実性に欠けるトークンレベルの帰属割り当てを上回ることを明らかにした。また、注意メカニズムの改良により、モデル行動をよりよく明らかにする注意に基づく説明を改善した。

ABSTRACT

Token-level attributions have been extensively studied to explain model predictions for a wide range of classification tasks in NLP (e.g., sentiment analysis), but such explanation techniques are less explored for machine reading comprehension (RC) tasks. Although the transformer-based models used here are identical to those used for classification, the underlying reasoning these models perform is very different and different types of explanations are required. We propose a methodology to evaluate explanations: an explanation should allow us to understand the RC model's high-level behavior with respect to a set of realistic counterfactual input scenarios. We define these counterfactuals for several RC settings, and by connecting explanation techniques' outputs to high-level model behavior, we can evaluate how useful different explanations really are. Our analysis suggests that pairwise explanation techniques are better suited to RC than token-level attributions, which are often unfaithful in the scenarios we consider. We additionally propose an improvement to an attention-based attribution technique, resulting in explanations which better reveal the model's behavior.

研究の動機と目的

• 機械的読解（MRC）における説明手法の評価フレームワークの欠如に取り組むこと。MRCの推論は分類タスクとは本質的に異なる。
• MRC設定におけるハイレベルなモデル行動を反映する現実的な反事後入力シナリオを定義すること。
• これらの反事後にモデル行動と説明出力の整合性を測ることで、説明手法の忠実性と有用性を評価すること。
• MRCモデルの推論プロセスを最も的確に捉えることができる説明手法を特定すること。

提案手法

• 複数のMRC設定に対して現実的な反事後入力シナリオを定義し、摂動下でのモデル行動をテストする。
• 反事後を用いて、説明手法の出力がハイレベルなモデル行動とどの程度整合するかを測定することで、説明手法を評価する。
• 反事後下での忠実性と解釈可能性の観点から、トークンレベルの帰属割り当てとペアワイズ説明手法を比較する。
• 注意重み付けメカニズムを精緻化することで、モデル行動をよりよく明らかにする改善された注意に基づく帰属割り当て手法を提案する。
• 反事後入力下での説明出力とモデル予測の関係を分析し、説明の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 MRCにおける現実的な反事後入力下で、トークンレベルの帰属割り当て手法は、モデル行動をどの程度反映しているか？
• RQ2 ペアワイズ説明手法は、MRCタスクにおいてトークンレベルの帰属割り当てよりも忠実性の高い解釈を提供するか？
• RQ3 注意に基づく説明手法は、MRCにおけるモデル推論をよりよく明らかにするように改善可能か？
• RQ4 反事後シナリオ下でのハイレベルなモデル行動を評価軸にした場合、異なる説明手法はどのように性能を発揮するか？
• RQ5 どのようなタイプの反事後入力摂動が、MRCにおける既存の説明手法の限界を最も効果的に露呈するか？

主な発見

• 現実的な反事後シナリオ下で、ペアワイズ説明手法はトークンレベルの帰属割り当てよりもモデル行動をより忠実に捉えている。
• トークンレベルの帰属割り当ては、しばしば実際のモデル推論を反映せず、反事後評価において低い忠実性を示す。
• 提案された注意に基づく帰属割り当て手法の改善により、ハイレベルなモデル行動とより整合性の高い説明が得られた。
• 反事後ベースの評価により、多くの既存の説明手法がMRCにおけるモデル意思決定を一貫して反映していないことが明らかになった。
• 本研究は、説明の質は孤立して評価できるのではなく、摂動入力下での行動と照らし合わせて評価されるべきであることを示した。