[論文レビュー] SQuAD: 100,000+ Questions for Machine Comprehension of Text

Pranav Rajpurkar, Jian Zhang+2 more|arXiv (Cornell University)|Jun 16, 2016

Topic Modeling参考文献 27被引用数 822

ひとこと要約

SQuADは、ウェブページの文からのスパンを回答として用いるクラウドソースの質問応答ペアを含む、大規模な読解データセットを導入します。ロジスティック回帰モデルは51.0%のF1を達成し、人間の86.8%のF1には及ばず、改善の大きな余地があることを示しています。

ABSTRACT

We present the Stanford Question Answering Dataset (SQuAD), a new reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles, where the answer to each question is a segment of text from the corresponding reading passage. We analyze the dataset to understand the types of reasoning required to answer the questions, leaning heavily on dependency and constituency trees. We build a strong logistic regression model, which achieves an F1 score of 51.0%, a significant improvement over a simple baseline (20%). However, human performance (86.8%) is much higher, indicating that the dataset presents a good challenge problem for future research. The dataset is freely available at https://stanford-qa.com

研究の動機と目的

• 機械によるテキスト理解を前進させるために、読解のための大規模で高品質なデータセットを提供する。
• 質問に必要な推論の種類と関係する統語的な課題を分析する。
• ベースラインとなるモデルを確立し、スパンベースの回答における人間と機械の性能を評価する。

提案手法

• 回答がテキストのスパンであることを条件に、536のWikipedia段落に対して107,785の質問–回答ペアをクラウドソースする。
• 語彙特徴と依存木パス特徴を用いたロジスティック回帰モデルを開発し、回答スパンを予測する。
• 結合構文解析によって素子（構成要素）に候補回答を制約し、効率的なスコアリングを可能にする。
• 厳密一致とF1指標を用いて評価し、主要な特徴を特定するためのアブレーションを実施する。
• スライディングウィンドウのベースラインと比較し、参考として人間の性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 SQuADの質問にはどのような推論の種類と統語的乖離が関与しているのか。
• RQ2 ベースラインの機械学習モデルは人間と比較して回答スパンをどの程度特定できるのか。
• RQ3 このデータセットにおいて、どの特徴がスパンベースの質問応答を効果的に推進するのか。

主な発見

方法	厳密一致（開発）	厳密一致（テスト）	F1（開発）	F1（テスト）
Random Guess	1.1%	1.3%	4.1%	4.3%
Sliding Window	13.2%	12.5%	20.2%	19.7%
Sliding Win. + Dist.	13.3%	13.0%	20.2%	20.0%
Logistic Regression	40.0%	40.4%	51.0%	51.0%
Human	80.3%	77.0%	90.5%	86.8%

• SQuADは536の記事に対して107,785のQ&Aペアを含み、回答は文章からのスパンテキストである。
• 最良のロジスティック回帰モデルはv1.0の開発/テストで51.0%のF1を達成し、人間の86.8%のF1には大きく及ばない。
• 語彙化特徴と依存パス特徴が性能にとって最も重要である。
• 質問文と回答文の統語的乖離が大きくなると性能は低下するが、人間とは異なる。
• 正解の約79.3%は回答を含む文の中にあり、主な課題は正確なスパンを見つけることであることを示している。
• SQuADは従来の手動ラベル付けRCデータセットよりはるかに大規模で、今後のモデルに対して堅牢な挑戦を提供する。