[論文レビュー] A Dataset for Answering Time-Sensitive Questions

Wenhu Chen, Xinyi Wang+1 more|arXiv (Cornell University)|Aug 13, 2021

Topic Modeling参考文献 36被引用数 24

ひとこと要約

この論文では、Wikidataから時間的変化を伴う事実を抽出し、クラウドワーカーによる検証を経て、多様な質問-回答ペアを生成することで、時間に依存する質問に答えるための新しいベンチマークデータセットTimeQAを紹介する。FiDなどの最先端モデルでさえも、ハードバージョンでは46%の正確性にとどまるが、人的なパフォーマンスは87%に達しており、現在のNLPモデルの時間的推論能力に顕著な格差が存在することが明らかになった。

ABSTRACT

Time is an important dimension in our physical world. Lots of facts can evolve with respect to time. For example, the U.S. President might change every four years. Therefore, it is important to consider the time dimension and empower the existing QA models to reason over time. However, the existing QA datasets contain rather few time-sensitive questions, hence not suitable for diagnosing or benchmarking the model's temporal reasoning capability. In order to promote research in this direction, we propose to construct a time-sensitive QA dataset. The dataset is constructed by 1) mining time-evolving facts from WikiData and aligning them to their corresponding Wikipedia page, 2) employing crowd workers to verify and calibrate these noisy facts, 3) generating question-answer pairs based on the annotated time-sensitive facts. Our dataset poses challenges in the aspect of both temporal understanding and temporal reasoning. We evaluate different SoTA long-document QA systems like BigBird and FiD on our dataset. The best-performing model FiD can only achieve 46\% accuracy, still far behind the human performance of 87\%. We demonstrate that these models are still lacking the ability to perform consistent temporal reasoning. Therefore, we believe that our dataset could serve as a benchmark to develop NLP models more sensitive to temporal shifts. The dataset and code are released in~\url{https://github.com/wenhuchen/Time-Sensitive-QA}.

研究の動機と目的

• 既存のQAベンチマークにおいて、時間的依存性のある質問に焦点を当てたデータセットの不足に対処すること。
• 時間的理解と推論を両方テストできる、現実的で挑戦的なベンチマークを構築すること。
• 現在の最先端QAモデルが時間的シフトや変化する事実を処理する際の限界を評価すること。
• 明示的な時間境界と多様な時間表現を備えたデータセットを提供することで、時間的推論分野の研究を促進すること。

提案手法

• Wikidataから時間的変化を伴う事実を抽出し、それらを対応するWikipediaの本文に一致させる。
• クラウドワーカーを活用して、ノイズの多い事実を検証・補正し、正確な時間的境界を保証する。
• アノテートされた時間的依存性のある事実に基づいて、多様なテンプレートを用いて質問-回答ペアを生成する。
• 必要な時間的推論の複雑さに基づいて、簡単版とハード版の2つのバージョンを作成する。
• ハード版では、暗黙的な時間的表現や複数ステップの推論を強調するように設計する。
• 再現可能性とさらなる研究を支援するため、データセットとコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端QAモデルは、時間的区間を推論する必要がある時間的依存性のある質問を正確に回答できるか？
• RQ2 「戦争中」や「1年後に」などの暗黙的な時間的表現を含む質問では、モデルのパフォーマンスはどの程度か？
• RQ3 明示的に述べられていない場合に、事実の終了時刻を推論する能力に、現在のモデルがどの程度欠如しているか？
• RQ4 時間的推論の難易度が、モデルのパフォーマンスと人的パフォーマンスの差にどのように影響するか？
• RQ5 提案されたデータセットは、さまざまなNLPアーキテクチャにおける時間的推論の欠陥を効果的に診断できるか？

主な発見

• 最良のモデルであるFiDでさえ、TimeQAのハードバージョンで46%の正確性にとどまり、人的パフォーマンスとは顕著な差がある。
• ハードバージョンにおける人的パフォーマンスは87%に達しており、時間的推論能力に大きな格差があることが示された。
• 簡単版からハード版に移行すると、正確性が60%から45%に低下し、暗黙的な時間的推論の難易度が顕著にあらわれる。
• 既存のモデルは、イベントの遷移から終了時刻を推論するような時間的常識的推論に苦労している。
• このデータセットは、現在のモデルが暗黙的な時間的表現に対して頑健ではなく、時間的知識のより良い統合が必要であることを明らかにした。
• 結果から、現在の長文QAシステムは、自然言語における変化する事実に対する一貫性のある時間的推論がまだ十分にできないことが示された。