[論文レビュー] TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension

Mandar Joshi, Eunsol Choi+2 more|arXiv (Cornell University)|May 9, 2017

Topic Modeling被引用数 5

ひとこと要約

TriviaQAは、650,000件以上の質問-回答-証拠の三つ組みを含む大規模な、遠隔教師付きの読解理解データセットであり、質問は証拠文書とは独立してトリビア愛好家によって作成されている。複雑で構成的な質問を含み、語彙的・文法的に多様なバリエーションを有しており、複数文にわたる推論を要する。最先端のモデルでさえ人間の性能（80%）に対して40%にとどまっていることから、今後の研究にとって挑戦的であることが示されている。

ABSTRACT

We present TriviaQA, a challenging reading comprehension dataset containing over 650K question-answer-evidence triples. TriviaQA includes 95K question-answer pairs authored by trivia enthusiasts and independently gathered evidence documents, six per question on average, that provide high quality distant supervision for answering the questions. We show that, in comparison to other recently introduced large-scale datasets, TriviaQA (1) has relatively complex, compositional questions, (2) has considerable syntactic and lexical variability between questions and corresponding answer-evidence sentences, and (3) requires more cross sentence reasoning to find answers. We also present two baseline algorithms: a feature-based classifier and a state-of-the-art neural network, that performs well on SQuAD reading comprehension. Neither approach comes close to human performance (23% and 40% vs. 80%), suggesting that TriviaQA is a challenging testbed that is worth significant future study. Data and code available at -- http://nlp.cs.washington.edu/triviaqa/

研究の動機と目的

• 質問-回答の現実世界の複雑さを反映した、大規模かつ自然に発生する読解理解データセットを構築すること。
• 質問作成と証拠収集を分離することでバイアスを低減し、一般化性能を向上させること。
• 複数文にわたる推論、文法的・語彙的多様性、構成的質問理解をテストするベンチマークを設計すること。
• SQuADのような既存のデータセットを超えた読解理解モデルの評価のための挑戦的な検証環境を提供すること。
• 将来の研究におけるオープンドメインQA、知識ベース統合、テキストと構造化データの統合モデリングを支援すること。

提案手法

• 証拠ソースとは独立して、95,000件の自由形式のトリビア風質問をトリビア愛好家から収集する。
• Wikipediaとウェブ検索結果から、1件の質問に対して6件の支援証拠文書を収集し、多様で重複する情報源を確保する。
• アノテーションによるアライメントを行わず、質問と関連する証拠文書を自動的に一致させることで遠隔教師付き学習を実装する。
• 複数文にわたる推論を要する質問を含み、質問と証拠文書との間に顕著な語彙的・文法的多様性を有するようにデータセットを設計する。
• 2つのベースラインモデルを実装する：特徴ベース分類器と最先端のニューラルネットワーク（BiDAF）を比較のための基準とする。
• 正確一致（exact match）とF1スコアを用いて、回答スパン抽出の評価を行い、モデル性能と人間の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 TriviaQAは、SQuAD や MS MARCO といった既存のデータセットと比較して、質問の複雑さと推論要件においてどのように異なるか？
• RQ2 質問と証拠文書の文との間の語彙的・文法的多様性が、読解理解モデルにどの程度の挑戦をもたらすか？
• RQ3 現在の最先端のニューラルモデルは、TriviaQAの複雑で複数文にわたる推論タスクに一般化できるか？
• RQ4 現在のモデルと人間の性能との間のスコアギャップは、このデータセットでどの程度のものか？
• RQ5 複雑性が向上したことを踏まえ、モデルのTriviaQAにおける性能はSQuADにおける性能と比べてどの程度か？

主な発見

• TriviaQAは650,000件以上の質問-回答-証拠三つ組みを含み、質問が証拠文書とは独立して作成されているため、アノテーションバイアスが低減されている。
• SQuADと比較して、複数文にわたる推論を要する質問の数が3倍以上多く含まれており、推論モデルにとってより困難なデータセットである。
• 質問と回答を支持する文との間に顕著な語彙的・文法的多様性を示す質問の割合が非常に高い。
• 最高性能を示したベースラインモデル（BiDAF）は、TriviaQAではF1スコア40%にとどまり、SQuADでは68%を記録しており、顕著な性能ギャップが確認された。
• 人間の性能はTriviaQAでF1スコア79.7%に達しており、現在のモデルと人間の理解水準との間で35ポイント以上のギャップがあることが示された。
• これらの結果は、TriviaQAが現在の技術の能力を超えて、推論、一般化、理解力の向上を促す挑戦的なベンチマークであることを確認している。