[論文レビュー] Embracing data abundance: BookTest Dataset for Reading Comprehension

Ondřej Bajgar, Rudolf Kadlec+1 more|arXiv (Cornell University)|Oct 4, 2016

Topic Modeling参考文献 27被引用数 56

ひとこと要約

この論文では、子供の本のテスト（CBT）よりも60倍大きな読解データセットBookTestを紹介しており、より頑健なモデルの訓練を可能にしている。BookTestでAttention-Sum Readerを訓練することで、従来のモデルアーキテクチャの改善に比べ、CBTで14.8%の精度向上を達成した。名前付きエンティティのCBTサブセットでは、Facebookの人的基準を上回るアンサンブルモデルを構築したが、人的な研究により、さらなる改善の余地が残っていることが確認された。

ABSTRACT

There is a practically unlimited amount of natural language data available. Still, recent work in text comprehension has focused on datasets which are small relative to current computing possibilities. This article is making a case for the community to move to larger data and as a step in that direction it is proposing the BookTest, a new dataset similar to the popular Children's Book Test (CBT), however more than 60 times larger. We show that training on the new data improves the accuracy of our Attention-Sum Reader model on the original CBT test data by a much larger margin than many recent attempts to improve the model architecture. On one version of the dataset our ensemble even exceeds the human baseline provided by Facebook. We then show in our own human study that there is still space for further improvement.

研究の動機と目的

• 膨大な自然言語コーパスが利用可能であるにもかかわらず、テキスト理解研究における大規模データの活用が不十分であるという問題に対処すること。
• 実世界のデータ豊富さを模倣できる、著しく大きな新しいデータセットBookTestを提案すること。
• データスケールそのものが、小さなデータセットにおけるアーキテクチャの革新よりも、より大きなパフォーマンス向上をもたらすことを示すこと。
• BookTestのようなより大きな関連データで訓練されたモデルが、CBTのような標準ベンチマークに効果的に一般化できるかどうかを評価すること。
• 人的なパフォーマンスと最先端モデルとの間のギャップを、的を射た人的な研究を通じて調査すること。

提案手法

• BookTestデータセットは、CBTと同様の方法で構築されており、大量の子供向け書籍コーパスからクローズ型の質問を生成している。
• データセットには1400万例以上の例が含まれており、元のCBTデータセットの60倍以上にのぼる。
• Attention-Sum ReaderモデルをBookTestデータで訓練し、標準的なCBTテスト分割で評価した。
• モデルは、答えを予測する際に文脈文の関連部分に注目するための注目メカニズムを使用している。
• 特に困難な例において一般化性と頑健性を向上させるために、複数のモデルのアンサンブルを作成した。
• 100件の以前に誤分類されたCBTの質問（名前付きエンティティ50件、共通名詞50件）を対象に人的な研究を実施し、残りのパフォーマンスギャップを評価した。

実験結果

リサーチクエスチョン

• RQ1 CBTよりも60倍大きなデータセットで訓練することで、元のCBTデータに対するアーキテクチャの改善に比べ、顕著なパフォーマンス向上が達成できるか？
• RQ2 ドメインシフトが存在するにもかかわらず、より大きな関連データセット（BookTest）で訓練することで、標準的なCBTベンチマークへの一般化が向上するか？
• RQ3 BookTestで訓練されたモデルが、Facebookが報告したCBTの名前付きエンティティサブセットにおける人的基準を上回れるか？
• RQ4 CBTデータセットにおいて、最先端モデルと人的パフォーマンスとの間のギャップはどの程度か？
• RQ5 現在のモデルが正しく予測できないが、人間が正しく回答できる例がまだ残っており、さらなる改善の余地があるか？

主な発見

• BookTestで訓練したことで、Attention-Sum ReaderのCBTテストセットにおける精度が14.8%向上した。これは、元のCBTデータに対するアーキテクチャの改善で達成された2.1%の向上を大きく上回る。
• BookTestで訓練したモデルのアンサンブルは、Facebookが報告したCBTの名前付きエンティティバージョンにおける人的基準を上回った。
• 共通名詞バージョンのCBTでは、96%を超える精度を達成しており、このサブセットにおける強力なパフォーマンスを示している。
• 人的な研究の結果、モデルが以前に誤分類した質問のうち、66%の名前付きエンティティ質問と82%の共通名詞質問が人間によって正しく回答された。これは、依然としてパフォーマンスギャップが存在することを示している。
• モデルと人的な予測を組み合わせたシステムは、名前付きエンティティの検証およびテストセットで92%を超える精度を達成し、共通名詞セットでは96%を超える精度を達成した。これは、さらなる改善の余地が残っていることを示唆している。