[論文レビュー] Supervising Model Attention with Human Explanations for Robust Natural Language Inference

Joe Stacey, Yonatan Belinkov+1 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling被引用数 7

ひとこと要約

本稿では、e-SNLIデータセットからの人間が生成した説明を用いて注意メカニズムを監視することで、自然言語推論(NLI)モデルのロバスト性を向上させる手法を提案する。説明で強調された語（特に名詞や動詞などの内容語）に注目を向けるよう促すことで、SNLIで最先端の性能を達成するとともに、分布外データセットへの一般化性能が向上し、注意の可視化がより解釈可能になり、ストップワードや標点記号に偏りにくくなる。

ABSTRACT

Natural Language Inference (NLI) models are known to learn from biases and artefacts within their training data, impacting how well they generalise to other unseen datasets. Existing de-biasing approaches focus on preventing the models from learning these biases, which can result in restrictive models and lower performance. We instead investigate teaching the model how a human would approach the NLI task, in order to learn features that will generalise better to previously unseen examples. Using natural language explanations, we supervise the model's attention weights to encourage more attention to be paid to the words present in the explanations, significantly improving model performance. Our experiments show that the in-distribution improvements of this method are also accompanied by out-of-distribution improvements, with the supervised models learning from features that generalise better to other NLI datasets. Analysis of the model indicates that human explanations encourage increased attention on the important words, with more attention paid to words in the premise and less attention paid to punctuation and stop-words.

研究の動機と目的

• データセットバイアスに依存せず、人間の推論を模倣する能力を学習させることで、NLIモデルの分布外データへの一般化性能の低さを是正すること。
• 人間の説明を注意メカニズムの監視信号として用いることで、分布内および分布外の両方の性能を向上させること。
• 仮説のみに注目するバイアスを低減し、前提文の語に注目を向けるようモデルを促進することで、ストップワードや標点記号への偏りを減らすこと。
• 人間が特定した重要な語に一致するように、より解釈可能な注意パターンを生成すること。

提案手法

• DeBERTaの自己注意層における[CLS]トークンの注意重みを監視するために、対照的損失項を導入し、説明に含まれる語に高い注意を向けるように促進する。
• 最上位の自己注意層に監視を適用し、説明関連語と一致するように学習された別個の注意メカニズムを導入する。
• Pruthiら（2020）が提案した説明の注意ベース統合手法を応用し、NLI設定における有効性を検証する。
• e-SNLIデータセットの自由記述型説明を用いて、各前提-仮説ペアにおける重要な語を特定し、注意の監視信号を形成する。
• NLI分類損失と説明に基づく注意正則化を組み合わせてモデルを学習し、アブレーションのための複数の注意ヘッドを用いる。
• 品詞タグ付けと語の頻度分析を用いて注意パターンを評価し、内容語への注目が増加し、機能語から離れることを評価する。

実験結果

リサーチクエスチョン

• RQ1 人間の説明を用いてモデルの注意を監視することで、NLIにおける分布内および分布外の性能が向上するか？
• RQ2 人間の説明に基づく注意監視は、より解釈可能で人間の認識に近い注意パターンを生み出すか？
• RQ3 モデルが説明関連語に注目するように学習した場合、品詞タグの観点から見て注意の分布はどのように変化するか？
• RQ4 注意監視により、標準的なNLIモデルに見られる仮説のみに注目するバイアスが低減されるか？
• RQ5 少ない数の監視付き注意ヘッドでも顕著な改善が得られるか？また、これは層間の注意伝達の性質について何を示唆するか？

主な発見

• 上位層の12個の注意ヘッドを監視することで、[CLS]トークンの前提文への注目度が22.86%から50.89%に上昇し、一般化性能が顕著に向上した。
• 3つのヘッドのみを監視しても、前の層の注意が前提文に向けられる割合は54.8%に上昇し、監視が下位層へ伝搬されることを示した。
• 監視付きモデルは、強調された語のうち46%を名詞が占め、動詞や形容詞にも注目を向ける一方で、標点記号、限定詞、ストップワードへの注目を減少させた。
• DeBERTaと組み合わせた場合、SNLIベンチマークで新たな最先端性能を達成し、先行手法を上回った。
• 監視付きモデルの注意重みは、人間の説明に含まれる語を効果的に予測でき、専用の説明予測モデルと同等の性能を示した。
• SNLI-hard（難易度の高い分布外セット）でも性能が向上し、分布シフトに対するロバスト性の向上が確認された。