[論文レビュー] FQuAD2.0: French Question Answering and knowing that you know nothing

Quentin Heinrich, G. Viaud+1 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、17,000個以上の回答不能な質問を含み、回答可能な質問と区別がつかないよう設計された、最初の敵対的フランス語質問応答データセットFQuAD2.0を紹介する。このデータセットにより、CamemBERTベースのモデルが回答不能な質問を検出できるよう訓練され、回答不能性検出で82.3%のF1スコア、読解理解で83%のF1スコアを達成し、不確実性認識を備えたオープンドメインQAにおけるフランス語NLPの発展を著しく推進した。

ABSTRACT

Question Answering, including Reading Comprehension, is one of the NLP research areas that has seen significant scientific breakthroughs over the past few years, thanks to the concomitant advances in Language Modeling. Most of these breakthroughs, however, are centered on the English language. In 2020, as a first strong initiative to bridge the gap to the French language, Illuin Technology introduced FQuAD1.1, a French Native Reading Comprehension dataset composed of 60,000+ questions and answers samples extracted from Wikipedia articles. Nonetheless, Question Answering models trained on this dataset have a major drawback: they are not able to predict when a given question has no answer in the paragraph of interest, therefore making unreliable predictions in various industrial use-cases. In the present work, we introduce FQuAD2.0, which extends FQuAD with 17,000+ unanswerable questions, annotated adversarially, in order to be similar to answerable ones. This new dataset, comprising a total of almost 80,000 questions, makes it possible to train French Question Answering models with the ability of distinguishing unanswerable questions from answerable ones. We benchmark several models with this dataset: our best model, a fine-tuned CamemBERT-large, achieves a F1 score of 82.3% on this classification task, and a F1 score of 83% on the Reading Comprehension task.

研究の動機と目的

• FQuAD1.1で訓練されたフランス語質問応答モデルに内在する、回答不能な質問を検出できないという重要な限界を是正すること。
• 回答可能な質問と形や内容が類似した現実的な回答不能な質問を含む、高品質で敵対的に構築されたフランス語QAデータセットを構築すること。
• 敵対的回答不能な質問が、回答不能性検出および読解理解の両タスクにおけるモデル性能に与える影響を評価すること。
• FQuAD2.0で微調整された単言語フランス語モデルと、英語QAデータで微調整された多言語モデルを比較し、言語間転送性能を評価すること。
• FQuAD2.0で訓練されたモデルのスケーラビリティと一般化性能を検討し、産業的導入におけるモデル圧縮の可能性を調査すること。

提案手法

• 言語的形態と複雑さが回答可能な質問に類似するよう、17,000個以上の回答不能な質問を敵対的にアノテートし、モデルにとって高い難易度となるように保証する。
• 元のFQuAD1.1データセットにこれらの回答不能なサンプルを追加してFQuAD2.0を構築し、合計で約80,000個の質問を実現する。
• FQuAD2.0の学習セット上で、サイズの異なるCamemBERTモデル（ベースおよびラージ）を、回答可能性分類およびスパン予測タスクの両方に対して微調整する。
• 開発セット上で標準指標を用いてモデル性能を評価する：読解理解にはF1スコア、回答不能な質問検出にはF1スコア（NoAns F1）を用いる。
• 英語SQuAD2.0データで微調整された多言語モデル（例：mBERT、XLM-RoBERTa）を訓練し、ゼロショットまたはフェイントショットの転送をフランス語に適用して比較する。
• 学習曲線を分析するため、訓練時に使用する敵対的サンプルの数を変化させ、データ効率性およびモデル収束性を評価する。

実験結果

リサーチクエスチョン

• RQ1 FQuAD2.0で微調整されたCamemBERTベースのモデルは、回答可能な質問のみで訓練されたモデルと比較して、回答不能な質問をどれほど効果的に検出できるか？
• RQ2 敵対的回答不能な質問を含む混合データセットで訓練された場合、読解理解の正確性にどの程度の低下が生じるか？
• RQ3 FQuAD2.0で微調整された単言語フランス語モデルの性能は、英語QAデータで微調整された多言語モデルのゼロショット設定における性能と比較してどうか？
• RQ4 FQuAD2.0は、回答可能性検出および質問の曖昧さの観点から、英語版SQuAD2.0よりも困難であるとされるか？
• RQ5 データ規模の影響は何か？最適な検出能力を達成するには、どの程度の敵対的サンプルが必要か？

主な発見

• 最も優れた性能を示したモデル、すなわち微調整されたCamemBERT LARGEは、読解理解タスクで83%のF1スコア、回答不能な質問検出で82.3%のF1スコアを達成した。
• FQuAD2.0で訓練されたモデルは、回答不能な質問を区別する能力が明確に向上し、顕著なNoAns F1スコア82.3%を示しており、不確実性認識の予測が強いことを示している。
• FQuAD2.0はSQuAD2.0よりも著しく困難であることが、すべての指標で低い性能が示されたことから裏付けられており、特に回答不能性検出では英語版と比較して17%低いNoAns F1スコアを示している。
• 学習曲線から、敵対的サンプルを増やすほど性能が向上することが示され、追加のデータでモデルの頑健性をさらに高められると示唆されている。
• FQuAD2.0で単言語微調整する方が、英語多言語モデルからのゼロショット転送を上回る性能を示しており、最適なパフォーマンスを達成するには言語固有のデータが優れていることが示された。
• 予備的な結果から、蒸留や量子化といったモデル圧縮技術を用いることで、リソースが限られた環境や高スループットを要する産業的導入において、大規模モデルの効率的デプロイが可能になる可能性がある。