[論文レビュー] Attention Interpretability Across NLP Tasks

Shikhar Vashishth, Shyam Upadhyay+2 more|arXiv (Cornell University)|Sep 24, 2019

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 69

ひとこと要約

この論文は、注意重みが解釈可能で、特徴重要度と相関することをNLPの多様なタスクに対して体系的に示しているが、注意が実際にモデルの予測に影響を与える場合に限り機能する。単一系列タスクは説明的な重みではなくゲートとして振る舞う点も示されている。

ABSTRACT

The attention layer in a neural network model provides insights into the model's reasoning behind its prediction, which are usually criticized for being opaque. Recently, seemingly contradictory viewpoints have emerged about the interpretability of attention weights (Jain & Wallace, 2019; Vig & Belinkov, 2019). Amid such confusion arises the need to understand attention mechanism more systematically. In this work, we attempt to fill this gap by giving a comprehensive explanation which justifies both kinds of observations (i.e., when is attention interpretable and when it is not). Through a series of experiments on diverse NLP tasks, we validate our observations and reinforce our claim of interpretability of attention through manual evaluation.

研究の動機と目的

• テキスト分類を超える多様なNLPタスクに対して、注意の解釈性分析を拡張する。
• 注意重みと特徴重要度の相関条件を特定する。
• 単一系列タスクでは注意がゲートとなり得る理由を説明する。
• 複数データセットとアーキテクチャを横断して手動評価を通じて解釈性を検証する。

提案手法

• さまざまな注意機構（Bahdanau-style、階層的、自己注意、Transformer）を用いて、単一系列、対シリーズ、および生成タスクの注意を評価する。
• 予測への影響を評価するため、統一的・ランダム・置換した注意重みを持つモデルを比較する。
• 単一系列タスクにおける注意をゲーティングユニットとしての理論的解釈を提供する。
• 人間の解釈性を評価するために手動アノテーションを用いる。
• 入力が欠損・遮蔽された場合のJSダイバージェンスを介した注意重みと特徴重要度の相関を分析する。
• 自己注意モデルの層ごとの影響を性能面で検討する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスク全体で注意重みはどの程度解釈可能か。
• RQ2 注意重みはタスク間で特徴重要度指標と相関するか。
• RQ3 単一系列 vs. 対列・生成タスクにおいて注意重みを変えるとモデル予測にどう影響するか。
• RQ4 さまざまなNLPタスクで注意重みは最終利用者にとって人間に解釈可能か。
• RQ5 自己注意層（例：Transformer）は層間で置換された注意重みにどう反応するか。

主な発見

Model / Variant	SST	IMDB	AG News	YELP
Bahdanau et al. (2015)	83.4±0.5	90.7±0.7	96.4±0.1	66.7±0.1
Uniform (Train+Infer / Infer)	-1.0 / -0.8	-0.8 / -6.3	-0.1 / -0.7	-0.5 / -6.3
Random (Train+Infer / Infer)	-1.1 / -0.9	-0.6 / -6.4	-0.0 / -0.7	-0.4 / -6.4
Permute (Infer)	-1.7	-5.1	-0.9	-7.8

• 単一系列タスクでは注意は説明的ではなく、重みが推論信号ではなくゲートとして機能する場合がある。
• 対列・生成タスクでは注意重みを変更すると性能低下が顕著で、単一系列タスクより影響が大きい。
• 注意重みは、予測に注意が不可欠なタスク、特にゲーティングでないシナリオで特徴重要度と相関する。
• 自己注意モデル（Transformers）は層間で注意重みを置換すると性能が大きく変化することを示し、これらのアーキテクチャが注意に対して実質的な依存を持つことを示唆する。
• 人間による手動評価は、単一系列タスクでは注意重みが一般に意味を持つが、特定の対列設定ではそうでないことを示す。