[論文レビュー] Knowledge Enhanced Attention for Robust Natural Language Inference

Alexander Hanbo Li, Abhinav Sethy|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 38被引用数 11

ひとこと要約

本稿では、外部の語彙的知識をマルチヘッドアテンション層に統合することで、自然言語推論（NLI）におけるロバスト性を向上させる知識強化アテンションメカニズムを提案する。構造化された知識埋め込みを用いてアテンションスコアを変換することで、パrameterを追加せずに実装され、敵対的NLIベンチマーク上で顕著な性能向上を達成し、BERTと組み合わせることで敵対的SNLIセットで人間水準の精度に到達する。

ABSTRACT

Neural network models have been very successful at achieving high accuracy on natural language inference (NLI) tasks. However, as demonstrated in recent literature, when tested on some simple adversarial examples, most of the models suffer a significant drop in performance. This raises the concern about the robustness of NLI models. In this paper, we propose to make NLI models robust by incorporating external knowledge to the attention mechanism using a simple transformation. We apply the new attention to two popular types of NLI models: one is Transformer encoder, and the other is a decomposable model, and show that our method can significantly improve their robustness. Moreover, when combined with BERT pretraining, our method achieves the human-level performance on the adversarial SNLI data set.

研究の動機と目的

• 敵対的例に対して性能が20%以上低下する最先端のNLIモデルのロバスト性の低さを是正する。
• アーキテクチャの変更を要するモデル特有の既存の知識統合手法の限界を克服する。
• 多様なNLIアーキテクチャに適用可能な汎用的でパrameterフリーの方法を考案し、アテンションメカニズムに外部知識を統合する。
• 推論時と学習時に両方で知識統合が行われることが、ロバスト性向上に不可欠であることを実証する。
• 単純で移譲可能なアテンション変更を用いて、敵対的SNLIベンチマークで人間水準のパフォーマンスを達成する。

提案手法

• 外部の知識ソース（例：WordNet）からの構造化埋め込みを用いて、アテンションスコアの計算を変更する知識強化アテンションメカニズムを導入する。
• 外部知識埋め込みの学習済みプロジェクションを用いて、元のアテンションスコアを変換することで、入力分布を超えた意味的に関連するトークンに注目できるようにする。
• モデルアーキテクチャを変更せず、パrameterを追加せずに、分解可能なアテンションモデルおよびTransformerベースのモデル（例：BERT）の両方に、変更されたアテンション層を適用する。
• モデルが外部知識の有効な使用法を学べるよう、学習時と推論時に両方で知識統合が行われることを保証する。
• BERT や OpenAI GPT といった事前学習モデルをベースアーキテクチャとして用い、知識強化アテンションをそれらのマルチヘッドアテンション層に適用する。
• 類義語、上位語、対義語などの語彙的知識を活用し、敵対的例を生成するとともに、アテンションメカニズム内の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アテンションメカニズムに外部語彙的知識を統合することで、敵対的例に対するNLIモデルのロバスト性が向上するか？
• RQ2 提案手法は、分解可能なモデルやTransformerを含む、さまざまなNLIアーキテクチャに一般化可能か？
• RQ3 知識統合によるパフォーマンス向上は、学習時と推論時に両方適用された場合にのみ生じるのか？
• RQ4 事前学習モデル（例：BERT）と組み合わせた場合、人間水準のパフォーマンスを敵対的NLIベンチマークで達成できるか？
• RQ5 シンプルさ、移譲性、有効性の観点から、モデル特有の知識統合手法と比較して、本手法はどのように差をつけるか？

主な発見

• 知識強化アテンションメカニズムにより、SNLIデータセットにおける敵対的精度が20ポイント以上向上し、Model Iでは敵対的SNLIで84.4%の精度を達成した（知識なしでは63.2%）。
• BERTと組み合わせた場合、敵対的SNLIテストセットで93.9%の精度を達成し、Glocknerら（2018）が報告した推定された人間水準のパフォーマンスに一致した。
• BERTにおける中立クラスのリCALL（再現率）が11%から23%に、帰結例における精度（precision）が74%から85%に向上し、一般化性能の向上が示された。
• 推論時のみの事後的知識統合ではロバスト性向上が達成されず、有効性を発揮するためには学習時と推論時に両方で知識統合が行われる必要があることが証明された。
• 標準BERTよりも3%の精度向上を達成しており、大規模な事前学習モデルですら、知識強化アテンションメカニズムの恩恵を受けることが示された。
• 本手法はモデルに依存せず、パrameterフリーであるため、アーキテクチャの変更なしに、任意のアテンションベースのモデルに広く適用可能である。