[論文レビュー] Natural Language Inference with a Human Touch: Using Human Explanations to Guide Model Attention.

Joe Stacey, Yonatan Belinkov+1 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 42被引用数 4

ひとこと要約

この論文では、自然言語推論（NLI）におけるニューラルモデルの注目メカニズムを、人間が生成した自然言語の説明でガイドすることを提案し、ドメイン内およびドメイン外の一般化性能を向上させている。注目重みを説明に関連する語に合わせて監視することで、モデルはより強固で人間の価値観に整合した特徴を学習し、データセットバイアスへの依存度を低減する。

ABSTRACT

Natural Language Inference (NLI) models are known to learn from biases and artefacts within their training data, impacting how well the models generalise to other unseen datasets. While previous de-biasing approaches focus on preventing models learning from these biases, we instead provide models with information about how a human would approach the task, with the aim of encouraging the model to learn features that will generalise better to out-of-domain datasets. Using natural language explanations, we supervise a model's attention weights to encourage more attention to be paid to the words present in these explanations. For the first time, we show that training with human generated explanations can simultaneously improve performance both in-distribution and out-of-distribution for NLI, whereas most related work on robustness involves a trade-off between the two. Training with the human explanations encourages models to attend more broadly across the sentences, paying more attention to words in the premise and less attention to stop-words and punctuation. The supervised models attend to words humans believe are important, creating more robust and better performing NLI models.

研究の動機と目的

• データセットバイアスやアーティファクトによって引き起こされるNLIモデルの一般化性能の低さを是正すること。
• 通常の頑健性研究におけるトレードオフを克服し、ドメイン内性能を損なわずにモデルの頑健性を向上させること。
• 自然言語の説明を監視として用い、人間が重要視すると考える語にモデルの注目を向けるようにガイドすること。
• 文全体にわたる注目を広く促進し、ストップワードや標点記号への過剰な依存を減らすこと。
• 人間の推論に整合した特徴を学習するNLIモデルを構築し、より良い一般化性能を達成すること。

提案手法

• 人間のアノテーターがNLIの前提文・仮説ペアに対して、重要な推論要素を特定する自然言語の説明を提供する。
• モデルの注目重みを、これらの人の説明に含まれる語と一致させるように監視する。
• 微分可能な注目正則化損失を適用し、注目が説明に関連する語に集中するよう促進する。
• NLI分類損失と説明誘導型注目正則化損失の両方を用いて、エンドツーエンドでモデルをファインチューニングする。
• 注目がストップワードなどの単純なトークンに過剰に集中しないよう、文全体にわたってより広く分散するよう促進する。
• 訓練中に人間の推論信号を直接注目メカニズムに統合するアプローチである。

実験結果

リサーチクエスチョン

• RQ1 人間の説明は、NLIモデルのドメイン内およびドメイン外性能の両方を向上させることができるか？
• RQ2 人間の説明による注目ガイドラインは、データセットバイアスやアーティファクトへの依存を低減するか？
• RQ3 自然言語の説明を用いて注目を効果的に正則化し、モデルの頑健性を向上させることができるか？
• RQ4 本研究のモデルは、ベースラインモデルと比較して、人間の説明で強調された語により注目するようになるか？
• RQ5 注目分布は、人間の注目パターンにより整合的になり、標点記号やストップワードへの集中が減るか？

主な発見

• 人間の説明を用いた学習により、ドメイン内およびドメイン外の両方のデータセットでNLI性能が向上し、通常の頑健性と一般化のトレードオフを回避できた。
• モデルは人間の説明に含まれる語により注目するようになり、人間の推論パターンとの整合性が成功したことが示された。
• 注目が文全体にわたってより広く分散され、ストップワードや標点記号への過剰な集中が減少した。
• モデルは、未観測ドメインへもより一般化しやすい、より頑健な特徴を学習した。
• 注目メカニズムは人間がアノテートした推論の手がかりとより整合的になり、解釈可能性が向上した。
• 人間が構造化した説明を統合することで、モデルがより一般化可能で人間らしい推論に近づくことができることを示した。