[論文レビュー] Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference

Tianda Li, Xiaodan Zhu+4 more|arXiv (Cornell University)|Apr 27, 2019

Natural Language Processing Techniques被引用数 9

ひとこと要約

この論文は、自己教師あり事前学習と人間がアノテートしたリソースからの外部知識が、自然言語推論（NLI）のパフォーマンスに与える影響を調査する。BERTや類似モデルは大規模なテキストから同義語や上位概念関係のような有用な推論意味を学習しているが、WordNetに基づく知識強化モデル（KIM）は、反意語や共下位語関係のような語彙的関係を捉えている。主な発見は、これらの2つのアプローチが互いに補い合うことである。BIMはドメイン内データではKIMを上回るが、事前学習で学習されない明示的な語彙的知識が求められるケースではKIMが優れている。

ABSTRACT

Natural language inference (NLI) is among the most challenging tasks in natural language understanding. Recent work on unsupervised pretraining that leverages unsupervised signals such as language-model and sentence prediction objectives has shown to be very effective on a wide range of NLP problems. It would still be desirable to further understand how it helps NLI; e.g., if it learns artifacts in data annotation or instead learn true inference knowledge. In addition, external knowledge that does not exist in the limited amount of NLI training data may be added to NLI models in two typical ways, e.g., from human-created resources or an unsupervised pretraining paradigm. We runs several experiments here to investigate whether they help NLI in the same way, and if not,how?

研究の動機と目的

• 自己教師あり事前学習モデル（例：BERT）が、NLIデータセット内のアノテーションアーチファクトを悪用しているのではなく、真の推論意味を学習しているかどうかを調査すること。
• WordNetのような人間がアノテートした語彙的リソースを用いる知識強化モデル（KIM）が、NLIにおいてどれほど効果的かを評価すること。
• 事前学習ベースのモデル（例：BERT、GPT）と知識強化モデル（KIM）を、ドメイン内およびドメイン外のNLIベンチマークで比較すること。
• 一方のモデルが他方を上回るケースを分析し、それぞれのアプローチがどのような状況で成功または失敗するかを特定すること。
• 事前学習と外部知識を組み合わせることで、NLIの一般化性能が向上する可能性を検討すること。

提案手法

• 著者らは、SNLIおよびMultiNLIデータセット上でBERT、GPT、および複数のベースラインモデル（ESIM、DenseNet+DynAtt）を微調整する。
• WordNetに含まれる同義語、反意語、上位概念関係などの語彙的関係をNLI予測プロセスに組み込んだ知識強化モデル（KIM）を訓練する。
• スワッピング評価法とストレステスト用データセット（GlocknerおよびNaik）を用いて、モデルの頑健性を評価し、データアーチファクトへの依存を特定する。
• 一方のモデルが正しく、もう一方が誤っている文対についてケーススタディを実施し、予測における語群関係の役割を分析する。
• ドメイン内（SNLI、MultiNLI）とドメイン外のテストセットでのモデルパフォーマンスを比較し、一般化性能を評価する。
• BERTとKIMの予測を統合するオラクルモデルを用いて、アンサンブルによるパフォーマンス向上の可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習（例：BERT）は、真の推論意味を学習しているのか、それともNLIデータセット内のアノテーションアーチファクトを悪用しているのか？
• RQ2 WordNetに基づく語彙的関係を用いる知識強化モデル（KIM）は、事前学習ベースのモデルと比較して、NLIパフォーマンスでどの程度優れているのか？
• RQ3 どのような種類のNLI例においてKIMがBERTを上回り、逆にBERTがKIMを上回るのか？
• RQ4 事前学習ベースのモデルと知識強化モデルは、異なる種類の推論知識を捉えるために互いに補い合っているのか？
• RQ5 事前学習と外部知識を組み合わせることで、ドメイン外データにおけるNLI一般化性能が向上するのか？

主な発見

• BERTはドメイン内NLIベンチマーク（SNLIおよびMultiNLI）でKIMを上回り、個別のモデルとして最高のパフォーマンスを達成している。
• KIMは、WordNetにエンコードされた反意語や同義語のような明示的な語彙的知識が求められる例で、BERTよりも正確である。
• BERTが正しく、KIMが誤っているケースでは、語群関係（例：'sun-lit' 対 'moon-lit'）がWordNetに存在しないが、大規模コーパスでの事前学習により学習されている。
• KIMが正しく、BERTが誤っているケースでは、必要な語群関係（例：'sun-lit' 対 'moon-lit'）がWordNetに存在しており、KIMが構造化された語彙的知識を効果的に活用できていることが示されている。
• 両モデルのパフォーマンスはドメイン外テストセットで低下するが、BERTがKIMを上回る相対的な順位は一貫している。
• BERTとKIMを統合するオラクルモデルは、個々のモデルよりも高いパフォーマンスを達成しており、両アプローチが互いに補い合っていることを示している。