[論文レビュー] ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections

Jiexin Wang, Adam Jatowt+1 more|arXiv (Cornell University)|Sep 8, 2021

Topic Modeling被引用数 4

ひとこと要約

ArchivalQA は、ニューヨーク・タイムズアノテートドコラス（1987–2007年）の532,444件の質問・回答ペアを含む大規模なオープンドメイン質問応答（ODQA）ベンチマークを紹介する。このデータセットは、ニューラル質問生成と段階的フィルタリングを組み合わせた準自動パイプラインを用いて、高品質で時間的文脈に根ざした質問を生成した。データセットは難易度および時間的表現の有無に基づきサブデータセットに分割され、歴史的ニュースにおけるODQAモデルの細分化された評価を可能にし、DPRモデルが難易度の高い、語彙的類似度が低い質問に対して優れた性能を示している。

ABSTRACT

In the last few years, open-domain question answering (ODQA) has advanced rapidly due to the development of deep learning techniques and the availability of large-scale QA datasets. However, the current datasets are essentially designed for synchronic document collections (e.g., Wikipedia). Temporal news collections such as long-term news archives spanning several decades, are rarely used in training the models despite they are quite valuable for our society. To foster the research in the field of ODQA on such historical collections, we present ArchivalQA, a large question answering dataset consisting of 532,444 question-answer pairs which is designed for temporal news QA. We divide our dataset into four subparts based on the question difficulty levels and the containment of temporal expressions, which we believe are useful for training and testing ODQA systems characterized by different strengths and abilities. The novel QA dataset-constructing framework that we introduce can be also applied to generate non-ambiguous questions of good quality over other types of temporal document collections.

研究の動機と目的

• 長期間にわたる歴史的ニュースアーカイブにおいて、社会的価値が高いうえに未活用されている大規模かつ高品質なODQAデータセットの不足に対処すること。
• ニューラル質問生成とフィルタリングを用いて、時間的文書コレクション上で多様で曖昧でない質問をスケーラブルに生成する準自動フレームワークの開発。
• 時間的推論の課題、たとえば時間的曖昧性や数十年にわたる語彙的変動を捉えるベンチマークの構築。
• 難易度および時間的表現の有無に基づいて質問を区別することで、ODQAシステムの細分化された評価を可能にすること。
• 豊富で多様かつ時間的文脈に根ざしたデータセットを通じて、時間的情報検索、歴史的事実特定、教育分野の研究を支援すること。

提案手法

• ニューヨーク・タイムズ（NYT）コロケーション（1987–2007年）のニュース記事から、ニューラル質問生成モデルを活用して大量の候補質問を自動生成する。
• 関連性、曖昧性、事実の整合性に基づく段階的なフィルタリング手順を適用し、低品質な質問を除外し、高品質なQAインスタンスを保持する。
• 質問の難易度および時間的表現の有無に基づき、4つのサブデータセット（ArchivalQAEasy、ArchivalQAHard、ArchivalQATime、ArchivalQANoTime）にデータセットを構造化する。
• NYTコロケーションを文書コレクションとして使用し、トレーニングおよび評価のための時間的整合性と歴史的深さを保証する。
• 各サブデータセットを訓練用（80%）、開発用（10%）、テスト用（10%）に分割し、標準化された評価を可能にする。
• BertseriniなどのスパースリトリーバーとDPRなどのデューブリトリーバーを含む、複数のODQAモデルをサブデータセット上で評価し、性能差を分析する。

実験結果

リサーチクエスチョン

• RQ1 既存のODQAモデルは、長期間にわたるニュースアーカイブにおける詳細かつ歴史的に特異な質問に対して、どの程度効果的に機能するか？
• RQ2 質問に時間的表現が含まれるかどうかが、歴史的QAタスクにおけるモデル性能にどの程度影響を与えるか？
• RQ3 DPRなどのデューブリトリーバーは、時間的文書コレクションにおける難易度の高い、語彙的類似度が低い質問に対して、スパースリトリーバーを上回る性能を示せるか？
• RQ4 質問の難易度（複雑さおよび語彙的類似度）がODQAシステムの性能にどのように影響を与えるか？
• RQ5 段階的フィルタリングを組み合わせた準自動パイプラインは、アーカイブデータにおけるODQAシステムのトレーニングおよび評価に適した高品質で曖昧でないQAペアを生成できるか？

主な発見

• DPRモデルは、ArchivalQAHardでスパースリトリーバーを上回り、正確一致（EM）で54.85%、F1で40.35%の向上を示し、語彙的類似度が低い質問に対する強力な一般化能力を示している。
• BERTserini-NYT-TempResは、ArchivalQAHardでArchivalQAEasyと比較してEMで106.83%の向上を示し、難易度の高い質問の困難さを裏付けた。
• モデルはArchivalQANoTimeよりもArchivalQATimeでわずかに高い性能を示しており、時間的信号が適切にモデル化されていない場合、現在のところは無視されたり、逆に有害である可能性があることを示唆している。
• 準自動フレームワークは、532,444件の高品質なQAペアを効果的に生成し、サブデータセットを通じて難易度および時間的コンテンツに基づく細分化された評価を可能にした。
• Wikipediaベースの知識では、詳細で小さな歴史的出来事の回答が不十分であることが明らかになったため、ODQAにおけるアーカイブニュースソースの必要性が強調された。
• 簡単な質問と難しい質問の間の性能差は、歴史的QAシステムにおける時間的推論と文脈理解の重要性を浮き彫りにした。