[論文レビュー] Cosmos QA: Machine Reading Comprehension with Contextual Commonsense Reasoning

Lifu Huang, Ronan Le Bras+2 more|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling被引用数 89

ひとこと要約

Cosmos QAは、明示的なテキストを超える文脈的常識推論を要求する大規模な多肢選択データセットを導入し、新しいBERTベースのマルチウェイアテンションモデルを含むさまざまなベースラインを評価することで、機械と人間の性能差が大きいことを明らかにしている。

ABSTRACT

Understanding narratives requires reading between the lines, which in turn, requires interpreting the likely causes and effects of events, even when they are not mentioned explicitly. In this paper, we introduce Cosmos QA, a large-scale dataset of 35,600 problems that require commonsense-based reading comprehension, formulated as multiple-choice questions. In stark contrast to most existing reading comprehension datasets where the questions focus on factual and literal understanding of the context paragraph, our dataset focuses on reading between the lines over a diverse collection of people's everyday narratives, asking such questions as "what might be the possible reason of ...?", or "what would have happened if ..." that require reasoning beyond the exact text spans in the context. To establish baseline performances on Cosmos QA, we experiment with several state-of-the-art neural architectures for reading comprehension, and also propose a new architecture that improves over the competitive baselines. Experimental results demonstrate a significant gap between machine (68.4%) and human performance (94%), pointing to avenues for future research on commonsense machine comprehension. Dataset, code and leaderboard is publicly available at https://wilburone.github.io/cosmos.

研究の動機と目的

• 文脈的常識推論を明示的なテキストスパンを超えて要求する読解研究を動機づける。
• 日常的な多様な語りを含む大規模なベンチマーク（Cosmos QA）を提供し、因果関係、反事実、社会的常識を研究する。
• 最先端のMRCモデルを評価し、文脈的常識推論に適したアーキテクチャを提案する。

提案手法

• ブログの語りから35,588の質問セットを構築し、人間が生成した質問と回答を検証する。
• None-of-the-aboveを未解答ケースの代わりとして用い、タスクを多肢選択として定式化する。
• Cosmos QA上で事前学習済みモデル（特にBERT）をファインチューニングし、従来のMRCモデルやGPTベースのアプローチを含むベースラインと比較する。
• パラグラム、質問、候補回答の相互作用をモデル化するマルチウェイアテンションを用いたBERT派生モデルを提案する。
• 4つの候補回答上でのソフトマックスとクロスエントロピー損失を用いた訓練目的を定義する。
• 関連データセット（RACE、SWAG）での知識転移実験を実施し、その後Cosmosで評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈的常識推論を要する質問に対して、既存の読解モデルはどれだけ良い性能を示すか？
• RQ2 パラグラム、質問、回答のマルチウェイアテンションを導入することでCosmos QAの性能は向上するか？
• RQ3 関連データセット（RACE、SWAG）でファインチューニングを行うことはCosmos QAの性能にどのような影響を与えるか？
• RQ4 正解となるCosmos QAの回答が文脈段落に明示的に記載されていない頻度はどの程度で、最も難しい常識推論のタイプは何か？

主な発見

• Cosmos QAは、最良モデルでテスト精度68.4%、人間の性能は94.0%である。
• 正解の多くはパラグラフに明示的には記載されておらず（83%以上）、文脈的常識推論の必要性を浮き彫りにしている。
• BERTベースのマルチウェイアテンションモデルは、標準的なBERTファインチューニングよりも改善を示す（テストで67.1%から68.4%へ）。
• 事前学習済み言語モデルはファインチューニングを経て、従来の読解モデルを大きく上回る。
• 知識転移：RACEからの直接転移はSWAGより有効であり、Cosmos前後でSWAGを順次ファインチューニングすると顕著な効果を得られる。
• アブレーションではP、Q、A間の相互作用を除くと性能が低下し、相互作用を欠いた場合の質問の寄与が相対的に小さく、文脈依存性が堅牢であることを示す。