[論文レビュー] Generating Token-Level Explanations for Natural Language Inference

James Thorne, Andreas Vlachos+2 more|arXiv (Cornell University)|Apr 24, 2019

Topic Modeling参考文献 18被引用数 5

ひとこと要約

本稿では、神経ネットワークモデルにおける注目分布の正則化を通じて、自然言語推論（NLI）のトークンレベルの説明を生成する白ボックス手法を提案する。シンプルな注目閾値処理とは異なり、MIL（複数インスタンス学習）を用いることで、人間がアノテートした説明との整合性が向上し、仮説の説明において精度が6.68%、再現率が28.05%向上した。一方、LIME や Anchor といったブラックボックス手法に比べて、数個のオーダーも速く、高速性に優れる。

ABSTRACT

The task of Natural Language Inference (NLI) is widely modeled as supervised sentence pair classification. While there has been a lot of work recently on generating explanations of the predictions of classifiers on a single piece of text, there have been no attempts to generate explanations of classifiers operating on pairs of sentences. In this paper, we show that it is possible to generate token-level explanations for NLI without the need for training data explicitly annotated for this purpose. We use a simple LSTM architecture and evaluate both LIME and Anchor explanations for this task. We compare these to a Multiple Instance Learning (MIL) method that uses thresholded attention make token-level predictions. The approach we present in this paper is a novel extension of zero-shot single-sentence tagging to sentence pairs for NLI. We conduct our experiments on the well-studied SNLI dataset that was recently augmented with manually annotation of the tokens that explain the entailment relation. We find that our white-box MIL-based method, while orders of magnitude faster, does not reach the same accuracy as the black-box methods.

研究の動機と目的

• 説明生成のためのアノテーションを必要とせずに、NLIモデルのトークンレベルの説明を生成すること。
• 注目ベースの説明が、含意における顕著なトークンについての人間の判断と一致するかどうかを評価すること。
• ブラックボックス手法（LIME、Anchor）および完全な教師ありベースラインと比較して、白ボックスのMILに基づく注目正則化の有効性を検証すること。
• NLIの説明生成において、説明の質と計算効率のトレードオフを評価すること。
• 注目メカニズム単体が、文の対における含意のための信頼性があり、人間と整合する説明を生成できるかどうかを検討すること。

提案手法

• 独立した文の符号化とクロス文間注目を備えたシンプルなLSTMベースのNLIモデルを用いる。
• 閾値処理を施した注目を用いて、ベースラインのトークンレベルの説明を生成する。
• 人間がアノテートした強調部分に注目分布を正則化する、新しい白ボックス手法を導入する。
• 各文のペアをトークンのバッグとして扱い、注目が関連するトークンに集中するよう促すMIL目的関数を採用する。
• LIME や Anchor といったブラックボックス説明手法（入力を摂動させ、スレーブモデルを学習）と比較する。
• e-SNLIデータセット上で全手法を評価する。このデータセットは、含意の根拠となるトークンのアノテーションを提供している。

実験結果

リサーチクエスチョン

• RQ1 注目ベースの説明が、説明のための明示的教師データを用いずに、人間がアノテートした顕著なトークンとより整合性をもって一致させられるか。
• RQ2 LIME や Anchor といったブラックボックス手法と比較して、MILによる注目正則化は、人間の判断との整合性においてどのように優れているか。
• RQ3 提案された白ボックス手法は、計算効率を維持したまま、シンプルな注目閾値処理よりも優れた説明品質を達成できるか。
• RQ4 なぜNLIモデルの注目メカニズムは、しばしば人間が重要とみなすトークンを正しく強調しないのか。
• RQ5 前提文と仮説文の符号化が独立しているというアーキテクチャ的制限が、注目ベースの説明の質にどの程度影響を及えるか。

主な発見

• MIL正則化注目法は、シンプルな注目閾値処理と比較して、仮説文の説明においてF1スコアが精度で6.68%、再現率で28.05%向上した。
• ブラックボックス手法（LIME および Anchor）は、人間の判断との整合性において、すべての注目ベースのアプローチを上回り、LIMEが最高のF1スコアを記録した。
• 完全な教師ありベースラインは高い精度を示したが、再現率は低く、'man'、'woman'、'dog' といった共通語に偏り、文脈に特化したラベル関連トークンを捉えられなかった。
• 注目ベースの説明はブラックボックス手法に比べて著しく信頼性が低く、LIME や Anchor がより高いF1スコアを示しており、注目と特徴の重要度の間には弱い対応関係があることが示唆された。
• ブラックボックス手法は白ボックスのMIL手法（1インスタンスあたり0.01秒）に比べて、1インスタンスあたり64秒と、数個のオーダーも遅く、大幅な計算効率の優位性が明らかになった。
• 前提文の注目性能の低さは、モデルの前提文と仮説文の独立した符号化に起因しており、同義語や含意パターンのような対間の意味的依存関係を捉えられていないことが原因であると特定された。