[論文レビュー] Interpreting Recurrent and Attention-Based Neural Models: a Case Study on Natural Language Inference

Reza Ghaeini, Xiaoli Z. Fern+1 more|arXiv (Cornell University)|Aug 12, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 10

ひとこと要約

本稿では、注意機構とLSTMゲーティング信号のsalience（重要度）を可視化することで、自然言語推論（NLI）における再帰的で注意に基づくニューラルモデルの新たな解釈フレームワークを提案する。これらの中間信号に対するモデル意思決定の勾配を分析することにより、従来の注意可視化では露わにならない、語のアライメントや情報フローのパターンといった重要な言語的手がかりが明らかになる。これは、表面的な注意マップを超えて、モデルのより深い挙動を解釈可能にする可能性を示している。

ABSTRACT

Deep learning models have achieved remarkable success in natural language inference (NLI) tasks. While these models are widely explored, they are hard to interpret and it is often unclear how and why they actually work. In this paper, we take a step toward explaining such deep learning based models through a case study on a popular neural model for NLI. In particular, we propose to interpret the intermediate layers of NLI models by visualizing the saliency of attention and LSTM gating signals. We present several examples for which our methods are able to reveal interesting insights and identify the critical information contributing to the model decisions.

研究の動機と目的

• 高い性能を示すものの意思決定が不透明である深層ニューラルモデルにおける自然言語推論（NLI）の解釈性の欠如に対処すること。
• 特に注意機構とLSTMゲーティング信号といった中間部品が、複雑なNLIタスクにおけるモデル予測にどのように寄与しているかを調査すること。
• 従来の単語レベルのsalienceや注意ヒートマップを超えて、内部モデルダイナミクスの機能的役割を露わにする新しい可視化技術の開発と検証すること。
• 注意とゲーティング信号のsalienceが、標準的な注意マップでは見えない重要な言語的差異を明らかにできることを示すこと。
• モデル改善やNLPシステムへの信頼性向上に役立つ、モデル挙動に関する洞察を提供すること。

提案手法

• 最終予測スコアに対する注意類似度値の勾配を計算することで、注意重みのsalience分析を提案する。
• 予測スコアに対する各ゲート（入力、忘却、出力ゲート）の活性化の偏微分を計算することで、LSTMゲーティング信号へのsalience分析を拡張する。
• L2ノルムを用いてゲート間でsalienceと信号値を集約し、次元削減と解釈可能性の向上を図る。
• 入力および推論LSTM層の各タイムステップにおける正規化された信号ノルムとsalienceノルムを可視化し、前向き読みと後向き読みのダイナミクスの違いを比較する。
• SNLIデータ上でモデル変種（ESIM-50とESIM-300）を用いて、異なる埋め込み次元における解釈の違いを比較する。
• 明確な正例ラベルが与えられた具体的な例に可視化を適用し、含意（Entailment）、中立（Neutral）、矛盾（Contradiction）の各ケースにおけるモデル挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 salienceパターンは、標準的な注意ヒートマップと比べて、モデル意思決定をどのようにより良く露わにするか？
• RQ2 LSTMゲーティング信号のsalienceは、モデル予測を駆動する重要な語やフレーズをどの程度明確に特定するか？
• RQ3 入力LSTMと推論LSTMのsalienceパターンは、言語的コンテンツにどのようなくわえを示しているか？
• RQ4 salience分析は、注意マップでは見えないモデルの失敗や誤一致（例：非矛盾語に不適切に注目する）を検出できるか？
• RQ5 より深いモデル（例：ESIM-300）は、浅いモデル（例：ESIM-50）よりも、複雑な推論ケースにおいてより正確なsalienceパターンを学習するか？

主な発見

• salience分析により、ESIM-300は矛盾ケースにおける『John』と『man』といった重要な語のペアに正しく注目していたが、ESIM-50は類似した注意マップであったにもかかわらず、同様の注目を示さなかった。
• 推論LSTMのsalienceは、『nap』のような重要な判別的語に集中していたのに対し、入力LSTMは広範なsalienceを示しており、処理における異なる役割が明らかになった。
• 中立（Neutral）の例では、『with her family』に高いsalienceが見られたため、前提文に存在しない情報が含まれていたために含意が拒否されたことが説明された。
• salienceノルムは、同じLSTM内でのゲート間で一貫したパターンを示しており、入力、忘却、出力ゲートの共同解釈可能性を示唆した。
• 前向きと後向きのLSTMは、文の異なる部分に注目することがあり、文理解における補完的役割を果たしていることが示された。
• 注意可視化のみでは、異なるラベル（例：含意 vs 矛盾）のケースを区別できなかったが、salienceマップは明確にモデルの注目領域の相違を露わにした。