[論文レビュー] TORQUE: A Reading Comprehension Dataset of Temporal Ordering Questions

Qiang Ning, Hao Wu+4 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

TORQUEは、3.2Kのニューススニペットと21Kの人的アノテーション済み質問を含む、イベント間の時間的順序を対象とした新しい読解データセットである。このデータセットは、自然言語による質問を通じてイベントの順序を推論する能力を評価するもので、RoBERTa-largeは51%の正確一致スコアを達成したが、これは人間の性能より30%低いものであり、NLPシステムにおける時間的推論の分野に顕著なギャップが存在することを示している。

ABSTRACT

A critical part of reading is being able to understand the temporal relationships between events described in a passage of text, even when those relationships are not explicitly stated. However, current machine reading comprehension benchmarks have practically no questions that test temporal phenomena, so systems trained on these benchmarks have no capacity to answer questions such as "what happened before/after [some event]?" We introduce TORQUE, a new English reading comprehension benchmark built on 3.2k news snippets with 21k human-generated questions querying temporal relationships. Results show that RoBERTa-large achieves an exact-match score of 51% on the test set of TORQUE, about 30% behind human performance.

研究の動機と目的

• 既存の読解ベンチマークでは主に共参照やエンティティ関係に注目しているが、時間的推論の評価が不足しているという問題に対処する。
• イベント間の時間的順序を推論できる能力をテストする、大規模かつ自然言語の質問応答データセットを構築する。関係が暗黙的であっても、それが可能であるようにする。
• 時間的キーワード（例：before/after/during）の対照的使用を可能にするスケーラブルで高品質なクラウドソーシングパイプラインを構築し、モデルの微妙な言語的手がかりへの感受性をテストする。
• イベントの持続時間、複数のイベントの順序、文の境界を越えた時間的スコープといった複雑な時間的現象を捉えるベンチマークを提供する。
• 将来的な神経モデルの時間的推論能力向上を可能にするために、公開されたデータセットとコードベースを提供し、再現可能な評価を実現する。

提案手法

• TempEval3データセットから3.2Kのニューススニペットを収集し、複数のイベントと時間的ダイナミクスを有する物語に焦点を当てる。
• クラウドワーカーを用いて、定義済みのイベントスキーマに従い、イベントとしての動詞とその目的語を特定する。
• 自然言語で書かれた21Kの質問を生成し、時間的関係（例：'Xの前に何が起きたか？'）を問うものとする。時間的キーワード（例：before, after, during）に重点を置く。
• モデルのロバストネスをテストするため、質問の対照的ペア（例：'before'を'after'に変更）を含める。
• 20%のデータを追加のクラウドワーカーで検証し、高品質なアノテーションを確保するとともに、データ収集に起因するアーチファクトを低減する。
• SQuADで事前学習された最先端モデル（例：RoBERTa-large）をこのデータセットで微調整し、テストセットにおける正確一致スコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 関係が暗黙的であるか、文間をまたがる推論を要する場合でも、既存の読解モデルはイベント間の時間的順序を正確に推論できるか？
• RQ2 現在のモデルは、自然言語の質問における時間的キーワードの微細な変化（例：'before' vs. 'after'）に対してどれほど感受性を示すか？
• RQ3 モデルは、イベントの持続時間、継続的状態、または即時の文脈を超えた時間的スコープをどれほど正しく理解できていないか？
• RQ4 神経モデルの時間的推論性能は人間の性能と比べてどの程度で、主な失敗モードは何か？
• RQ5 クラウドソーシングパイプラインは、スケーラブルに高品質で多様性があり、対照的な時間的推論質問を効果的に生成できるか？

主な発見

• RoBERTa-largeはTorqueテストセットで正確一致スコア51%を達成しており、人間の性能と比較して顕著な性能ギャップがあることを示している。
• テストセットにおける人間の正確一致スコアは約81%であり、このタスクは依然として困難であり、現在のモデルでは未解決であることが示された。
• SQuADで学習したモデルは、時間的推論に一般化できない。特に、'before'と'after'を変更した対照的質問（例：'何が前で起きたか？' vs. '何が後に起きたか？'）に対して正しく回答できないことが判明した。
• 微調整を行っても性能ギャップが解消されないため、現在のアーキテクチャには時間的推論に適したインダクティブバイアスが不足している可能性がある。
• 複数のイベントが存在する場合や、時間的手がかりが複雑な文構造に埋め込まれている場合、モデルは正しい時間的イベント順序を特定できていないことが明らかになった。
• 対照的質問の設計は、モデルの脆弱性を効果的に露呈しており、質問の語呂のわずかな変化（例：'before'から'after'に）が、モデル出力の著しい違いを引き起こすことが分かった。