[論文レビュー] A Survey of the State of Explainable AI for Natural Language Processing

Marina Danilevsky, Kun Qian+4 more|arXiv (Cornell University)|Oct 1, 2020

Explainable Artificial Intelligence (XAI)参考文献 68被引用数 113

ひとこと要約

本調査はNLPにおけるExplainable AI (XAI) アプローチをレビューし、説明のタイプ、手法、可視化を分類し、評価のギャップと今後の方向性について論じる。

ABSTRACT

Recent years have seen important advances in the quality of state-of-the-art models, but this has come at the expense of models becoming less interpretable. This survey presents an overview of the current state of Explainable AI (XAI), considered within the domain of Natural Language Processing (NLP). We discuss the main categorization of explanations, as well as the various ways explanations can be arrived at and visualized. We detail the operations and explainability techniques currently available for generating explanations for NLP model predictions, to serve as a resource for model developers in the community. Finally, we point out the current gaps and encourage directions for future work in this important research area.

研究の動機と目的

• NLPにおけるExplainabilityがどのように定義され、どのように使用されているかの構造化された概要を提供する。
• 説明の主なカテゴリ（局所的/全体的、自己説明的/事後的）とそれらの含意を要約する。
• NLPモデルにおける説明を導出・可視化する一般的な技術を詳述する。
• 説明の標準化された評価を妨げる共通の評価方法とギャップを特定する。
• NLPにおける説明性を高めるための将来の研究方向を提案する。

提案手法

• NLP XAI研究を局所/全体と自己説明的/事後的カテゴリに分類した。
• 説明性技術を要約し、特徴の重要度、代理モデル、例示駆動、出所、宣言的帰納を整理した。
• 説明性を可能にする操作を記述した（一次微分感度、層別関連伝搬、入力摂動、アテンション、LSTMゲーティング信号、説明性対応アーキテクチャ）。
• 可視化技術を概説した（感度ヒートマップ、RAW宣言的表現、自然言語での説明、RAW例）
• 評価アプローチをレビューした（非公式評価、真偽データとの比較、ヒューマン評価、反事実/消去テスト）と、予測過程のカバレッジについて議論した。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルの予測を解釈するために使用される説明の主なカテゴリは何か。
• RQ2 NLPで最も一般的に適用されている説明可能性技術と可視化方法は何か。
• RQ3 説明は通常どのように評価され、現在の評価実践にはどのようなギャップがあるか。
• RQ4 NLPにおけるXAIを前進させるための将来の方向性は何か。
• RQ5 説明の予測過程のカバレッジはアプローチによってどのように異なるか。

主な発見

• Local explanations dominate the literature (about 46 of 50 papers) compared to global explanations (4 papers).
• Feature importance and surrogate-model approaches are the most frequently used explainability techniques in NLP.
• Attention mechanisms and first-derivative saliency are widely used for feature importance explanations in NLP.
• Evaluation of explanations is often informal or lacking standardized metrics, with ground-truth and human evaluation used in a subset of papers.
• There is a call for clearer terminology, expanded evaluation metrics, and consideration of fidelity and the target end-user in explanations.