[論文レビュー] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao+1 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 285被引用数 48

ひとこと要約

自然言語推論（NLI）の最近のベンチマーク、知識資源、および学習/推論アプローチの調査で、ベンチマーク、資源タイプ、モデル傾向、制約、および今後の機会を強調している。

ABSTRACT

In the NLP community, recent years have seen a surge of research activities that address machines' ability to perform deep language understanding which goes beyond what is explicitly stated in text, rather relying on reasoning and knowledge of the world. Many benchmark tasks and datasets have been created to support the development and evaluation of such natural language inference ability. As these benchmarks become instrumental and a driving force for the NLP research community, this paper aims to provide an overview of recent benchmarks, relevant knowledge resources, and state-of-the-art learning and inference approaches in order to support a better understanding of this growing field.

研究の動機と目的

• 言語的文脈を超えた最近のNLIベンチマークとタスクの概要を提供する。
• NLIを支援する知識資源を要約する。言語知識、一般知識、常識知識を含む。
• NLIの学習・推論アプローチをレビューし、その性能と限界を論じる。
• ベンチマーク、資源、アプローチの現状の制約と今後の機会について議論する。

提案手法

• 現代のNLIベンチマークとタスクを列挙・分類する（参照解決、QA、テキスト推論、もっともらしい推論、心理的推論、複数タスク）。
• 知識資源を言語知識、一般知識、常識知識に分類し、NLIタスクと関連づける。
• 象徴的、統計的、深層ニューラルネットワークまでの学習・推論アプローチを調査し、それぞれの長所と限界を分析する。
• データバイアス、説明性、ベンチマーク設計など、NLIの進展に影響を与える問題について論じる。

実験結果

リサーチクエスチョン

• RQ1 NLIおよび関連推論能力を評価する際に用いられる主要なベンチマークデータセットと課題の定式化は何か？
• RQ2 NLIを支援する知識資源のタイプは何か、そしてそれらはベンチマークの要件とどう対応づけられるか？
• RQ3 NLIに最も影響を与えた学習・推論アプローチは何で、どんな限界やバイアスが進展に影響を与えるか？
• RQ4 NLIベンチマークと資源の現状の制限は何か、将来の研究機会は何か？

主な発見

• NLIのベンチマークは2000年代初頭以降に増加し、2015年以降には多くの大規模データセットが利用可能となり、深層学習アプローチを可能にしている。
• NLIの知識資源は、言語知識、一般知識、常識知識に分類でき、それぞれ推論タスクに異なる形で寄与する。
• 象徴的手法から深層ニューラル手法まで幅広い学習アプローチが高い性能を達成しているが、説明性とデータバイアスの問題に直面している。
• ベンチマークは課題の定式化、データ収集、難易度が異なり、モデル間の比較可能性と進捗評価に影響を及ぼす。
• 現実世界の推論、世界知識、常識的理解をより正確に捉えるベンチマークと資源の継続的な必要性がある。