[論文レビュー] A large annotated corpus for learning natural language inference

Samuel R. Bowman, Gabor Angeli+2 more|arXiv (Cornell University)|Aug 21, 2015

Multimodal Machine Learning Applications参考文献 29被引用数 465

ひとこと要約

この論文は、帰納、矛盾、中立の関係についてラベル付けされた、570,152組の文のペアを含む大規模かつ人間がアノテートした自然言語帰納（SNLI）コーパスを紹介する。このコーパスにより、自然言語帰納タスクにおける最先端の性能が達成可能となり、SNLIで訓練されたニューラルネットワークモデルは、SICKなどのベンチマークデータセットにおける転移学習によって競争力ある結果を示し、大規模で高品質なデータが強力で汎用性の高い意味的表現を支えることができることを示している。

ABSTRACT

Understanding entailment and contradiction is fundamental to understanding natural language, and inference about entailment and contradiction is a valuable testing ground for the development of semantic representations. However, machine learning research in this area has been dramatically limited by the lack of large-scale resources. To address this, we introduce the Stanford Natural Language Inference corpus, a new, freely available collection of labeled sentence pairs, written by humans doing a novel grounded task based on image captioning. At 570K pairs, it is two orders of magnitude larger than all other resources of its type. This increase in scale allows lexicalized classifiers to outperform some sophisticated existing entailment models, and it allows a neural network-based model to perform competitively on natural language inference benchmarks for the first time.

研究の動機と目的

• データ集約型モデルの学習に適した大規模で高品質な人間がアノテートした自然言語帰納（NLI）データセットの不足を解消すること。
• 意味的推論のための分散表現学習の評価を支援するリソースを提供すること。
• NLIタスク全体に一般化しやすいニューラルネットワークモデルの学習を可能にすること。
• 従来のNLIコーパスに見られるアノテーションノイズや共参照の曖昧さを低減すること。
• 実証的で学習中心のアプローチを用いて、ドメインに依存しない意味的表現の評価のためのベンチマークを確立すること。

提案手法

• 画像の説明文を自然的で文脈に即した形で記述する人間のアノテーターから、570,152組の文のペアを収集すること。
• アノテーターが画像の説明文に基づいて、帰納、矛盾、中立のいずれかのラベルを付与する構造化されたアノテーションタスクを実施すること。
• 各例に対して4人の追加アノテーターによる検証フェーズを実施し、3アノテーターでの一致率が98%、5アノテーターでの一致率が58%に達した。
• SNLIコーパス上でLSTMニューラルネットワークモデルを訓練し、文の表現を学習し、NLIを実行すること。
• SNLIで学習した重みで初期化された新しいモデルをSICKベンチマークデータセット上で微調整することで、転移学習を適用すること。
• AdaDelta最適化法を用い、微調整中に知識を保持するための学習率の蓄積器を活用すること。

実験結果

リサーチクエスチョン

• RQ1 大規模で人間がアノテートしたNLIコーパスは、ニューラルネットワークモデルの自然言語帰納タスクにおける性能を顕著に向上させることができるか？
• RQ2 大規模かつ多様なNLIコーパスで学習した表現は、SICKのような小さな既存のベンチマークデータセットへどの程度転送可能か？
• RQ3 SNLIで訓練したニューラルネットワークモデルは、標準的なNLIベンチマークで手作業で設計されたモデルと同等か、それ以上の性能を示すか？
• RQ4 SNLIのアノテーションの一貫性とノイズの観点から、既存のNLIデータセットと比較して、SNLIの品質と規模はどの程度優れているか？
• RQ5 大規模で高品質なコーパスで訓練された場合、単純な語彙ベースの分類器は、より複雑なモデルと同等の性能を達成できるか？

主な発見

• SNLIコーパスには570,152組の文のペアが含まれており、同種のリソースと比較して2桁大きい規模である。
• 特徴豊富な分類器とLSTMベースのニューラルネットワークの両方が、NLIベンチマークで競争力ある性能を示した。
• SNLIからSICKデータセットへの転移学習により、テストセットで80.8%の正確性が達成され、非拡張のニューラルネットワークモデルとしては報告された最高の結果となった。
• SNLIのみで訓練したモデルはSICKでは性能が低く、アノテーションスタイルやテキストジャンルの違いによるドメインシフトが示唆された。
• SNLIコーパスのおかげで、ニューラルモデルはSICKベンチマークで人間のアノテーター間一致率の上限（84%）に近い性能を達成した。
• 高い一致率（3アノテーターで98%、5アノテーターで58%）は、SNLIのアノテーションの高品質さと信頼性を裏付けた。