[論文レビュー] FQuAD: French Question Answering Dataset

Martin d’Hoffschmidt, Wacim Belblidia+3 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 20被引用数 20

ひとこと要約

本論文は、Wikipediaの記事から手作業でアノテートされた60,000件以上のサンプルを含む、最初の大規模なネイティブ仏語読解データセットFQuADを紹介する。微調整された単語言語モデル（例：CamemBERT LARGE）がSOTAの性能（F1: 92.2、EM: 82.1）を達成し、テストセットにおいて人間の性能を上回ることを示し、低リソース言語における翻訳ベースのアプローチの限界も浮き彫りにしている。

ABSTRACT

Recent advances in the field of language modeling have improved state-of-the-art results on many Natural Language Processing tasks. Among them, Reading Comprehension has made significant progress over the past few years. However, most results are reported in English since labeled resources available in other languages, such as French, remain scarce. In the present work, we introduce the French Question Answering Dataset (FQuAD). FQuAD is a French Native Reading Comprehension dataset of questions and answers on a set of Wikipedia articles that consists of 25,000+ samples for the 1.0 version and 60,000+ samples for the 1.1 version. We train a baseline model which achieves an F1 score of 92.2 and an exact match ratio of 82.1 on the test set. In order to track the progress of French Question Answering models we propose a leader-board and we have made the 1.0 version of our dataset freely available at https://illuin-tech.github.io/FQuAD-explorer/.

研究の動機と目的

• 読解のための高品質なネイティブ仏語NLPデータセットの不足、特に英語リソースに比べて著しく少ない現状に対処すること。
• Wikipediaの記事から抽出した文脈をもとに、人間がアノテートした質問と回答ペアを用いて、大規模かつ高品質な仏語読解データセットを構築すること。
• ネイティブ仏語QAベンチマーク上で、単語言語モデルと多言語モデルの両方の性能を評価すること。
• 低リソース言語のQAにおけるゼロショット多言語間転送と翻訳ベースの微調整アプローチを比較すること。
• 進捗を追跡できる公開ベンチマークとランクイングを提供すること。

提案手法

• 2段階のアノテーションを通じて、FQuAD1.0（25,000件以上）とFQuAD1.1（60,000件以上）を構築。まず大学の学生がアノテートを行い、その後、より複雑な問題を生成するための厳密なガイドラインを適用。
• 高品質なWikipedia記事から文脈を収集し、人間のアノテーターがテキストのスパンに基づいた質問と回答ペアを生成。
• FQuADデータセット上で、最先端の単語言語モデル（CamemBERT、FlauBERT）と多言語モデル（mBERT、XLM-RoBERTa）を微調整。
• ゼロショット多言語間転送の評価として、SQuAD1.1で微調整したモデルをFQuAD1.1でテストし、逆方向の評価も実施。
• NMTを用いてSQuAD1.1を仏語に翻訳し、翻訳されたデータでモデルを微調整することで、ネイティブ学習と比較。
• 標準的な指標（F1スコアとエクサクトマッチ（EM））を用いて、開発セットとテストセットでのモデル性能を評価。

実験結果

リサーチクエスチョン

• RQ1 大規模なネイティブ仏語読解データセットは、英語ベースの転移学習や翻訳ベースの手法と比較して、モデル性能を顕著に向上させ得るか？
• RQ2 ネイティブ仏語QAベンチマーク上で、単語言語モデルと多言語モデルの性能はどのように比較されるか？
• RQ3 微調整を仏語データで行わずに、英語から仏語QAタスクへのゼロショット多言語間転送はどの程度一般化可能か？
• RQ4 SQuAD1.1を翻訳したデータで微調整した場合、FQuADのようなネイティブ仏語データセットで学習した場合と同等の性能が得られるか？
• RQ5 FQuADベンチマーク上で、人間のアノテーターと最先端モデルとの間には、どの程度の性能ギャップが存在するか？

主な発見

• 最良のモデルであるCamemBERT LARGEは、FQuAD1.1のテストセットでF1スコア92.2、エクサクトマッチ82.1を達成し、人間の性能（F1: 91.2、EM: 75.9）を上回った。
• FQuAD1.1の開発セットにおいて、人間の性能はF1スコア92.1、EM 78.3を記録し、ベンチマークの品質が非常に高いことを示している。
• 多言語モデル（例：XLM-R LARGE）はゼロショットで強力な性能を示し、SQuAD1.1でのみ微調整した場合、FQuADで英語レベルの人間の性能に近い結果を達成した。
• 翻訳ベースのアプローチ（翻訳されたSQuAD1.1データを用いた学習）は、ネイティブFQuADの性能に達しなかった。これは、翻訳データに性能の上限と品質のギャップがあることを示している。
• ネイティブ仏語データに翻訳されたサンプルを追加しても、ネイティブ評価セットでの性能は向上しなかった。これは、翻訳データがネイティブアノテーションの代替にはならないことを示唆している。
• 同サイズのモデルを比較した結果、単語言語モデルが多言語モデルを上回った。これは、言語固有の事前学習がネイティブQAタスクにおいて顕著な利点をもたらすことを示している。