[論文レビュー] End-to-End QA on COVID-19: Domain Adaptation with Synthetic Training

Revanth Gangi Reddy, Bhavani Iyer+6 more|arXiv (Cornell University)|Dec 2, 2020

Topic Modeling参考文献 43被引用数 17

ひとこと要約

本稿では、合成データを用いたゼロショットドメイン適応フレームワークを提案し、COVID-19ドメインにおけるエンドツーエンドQAに適用する。公開ドメインQAデータ上で事前学習された質問生成モデルを用いて、ドメイン固有のCORD-19テキストから合成された質問-本文-回答の三つ組を生成し、神経的インデックスリトリーバ（IR）および機械的読解（MRC）モデルを微調整することで、複数のCOVID-19 QAベンチマークで最先端のオープンドメインベースラインを上回る顕著なF1スコアの向上を達成した。

ABSTRACT

End-to-end question answering (QA) requires both information retrieval (IR) over a large document collection and machine reading comprehension (MRC) on the retrieved passages. Recent work has successfully trained neural IR systems using only supervised question answering (QA) examples from open-domain datasets. However, despite impressive performance on Wikipedia, neural IR lags behind traditional term matching approaches such as BM25 in more specific and specialized target domains such as COVID-19. Furthermore, given little or no labeled data, effective adaptation of QA systems can also be challenging in such target domains. In this work, we explore the application of synthetically generated QA examples to improve performance on closed-domain retrieval and MRC. We combine our neural IR and MRC systems and show significant improvements in end-to-end QA on the CORD-19 collection over a state-of-the-art open-domain QA baseline.

研究の動機と目的

• 専門ドメイン（例：COVID-19）においてラベル付きデータが乏しい状況下で神経的IRおよびMRCモデルの性能が劣化するという課題に対処すること。
• 低リソースのターゲットドメインにおける情報検索および機械的読解の両方の分野で、高品質な合成トレーニング例を生成する手法を開発すること。
• 公開ドメインベースラインと比較して、CORD-19コロナウイルスコホートに適用した合成データがエンドツーエンドQA性能をどの程度向上させるかを評価すること。
• 異なる質問スタイル（例：SQuAD対NQ）で学習された合成例が、より優れたドメイン適応結果をもたらすかどうかを調査すること。

提案手法

• 公開ドメインMRCデータセット（例：SQuAD）で事前学習された合成質問生成モデルを用い、ドメイン固有のCORD-19科学論文から質問-本文-回答の三つ組を生成する。
• 生成された質問の多様性と品質を向上させるために、top-pおよびtop-kサンプリング技術を用いる。
• 合成例を用いて、ターゲットドメインにおける検索性能を向上させるために、事前学習済みの密度型パラグラフリトリーバ（DPR）を微調整する。
• 別個のMRCモデルを、CORD-19におけるドメイン固有の言語モデル学習と合成MRC例の両方を用いて微調整し、回答抽出の精度を向上させる。
• 低品質な合成例をフィルタリングし、ラベルの信頼性を向上させるために、ラウンドトリップ一貫性チェックを適用する。
• IRスコアとMRCスコアの重み付き統合（IR重み = 0.7）を用いて、適応されたIRおよびMRCモデルを統合し、エンドツーエンドQA性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有のテキストから生成された合成QAペアは、COVID-19のような低リソースドメインにおける神経的IR性能を向上させることができるか？
• RQ2 合成例を用いたMRCモデルの微調整は、ドメイン固有のQAデータセットにおける回答抽出精度に顕著な向上をもたらすか？
• RQ3 SQuADスタイルとNatural Questions（NQ）スタイルの質問生成で得られる合成例の品質にどのような差が生じるか。また、どちらのスタイルがより優れた下流性能をもたらすか？
• RQ4 ターゲットドメインにおける言語モデル学習と合成データ生成が、MRC性能向上にどのように寄与しているか。
• RQ5 提案されたエンドツーエンドQAシステムは、COVID-19ドメインへのゼロショット適応において、強力なオープンドメインベースラインを顕著に上回るか？

主な発見

• 合成データを用いたエンドツーエンドQAシステムは、COVID-QA-111のテストセットで47.8のF1スコアを達成し、ベースライン（45.9 F1）を1.9ポイント上回った。
• COVID-QA-2019データセットでは、最終システムが44.9のF1スコアを達成し、ベースライン（41.2 F1）を3.7ポイント上回った。
• COVID-QA-2019の開発セットにおいて、合成例とドメイン固有の言語モデル学習を組み合わせたMRCモデルは、EMで3.1ポイント、F1で2.6ポイント向上した。
• SQuADで学習された生成モデルから得た合成例を用いることで、NQスタイルの生成を上回る性能を示し、合成データ品質に質問スタイルの影響があることが示された。
• 対応t検定により、最終エンドツーエンドシステムの性能がベースラインと比べて有意に優れていることが確認された（p < 0.01）。
• 合成MRC例の貢献度（EMで3.1ポイント、F1で2.6ポイント）は、ドメイン固有の言語モデル学習の貢献度（EMで1.5ポイント、F1で0.8ポイント）を上回り、合成例の影響がより顕著であることが示された。