[論文レビュー] Rapidly Bootstrapping a Question Answering Dataset for COVID-19

Raphael Tang, Rodrigo Nogueira+5 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 17被引用数 62

ひとこと要約

CovidQAは、KaggleのCORD-19レビューから構築されたCOVID-19向けの小規模な手作り質問応答データセットで、COVID-19トピックに対するQAモデルのゼロショット学習と転移学習を評価することを目的としています。ベースラインはBM25が強力で、ドメイン適応型トランスフォーマーは一部の設定で利点を示します。

ABSTRACT

We present CovidQA, the beginnings of a question answering dataset specifically designed for COVID-19, built by hand from knowledge gathered from Kaggle's COVID-19 Open Research Dataset Challenge. To our knowledge, this is the first publicly available resource of its type, and intended as a stopgap measure for guiding research until more substantial evaluation resources become available. While this dataset, comprising 124 question-article pairs as of the present version 0.1 release, does not have sufficient examples for supervised machine learning, we believe that it can be helpful for evaluating the zero-shot or transfer capabilities of existing models on topics specifically related to COVID-19. This paper describes our methodology for constructing the dataset and presents the effectiveness of a number of baselines, including term-based techniques and various transformer-based models. The dataset is available at http://covidqa.ai/

研究の動機と目的

• Kaggle’s COVID-19 Open Research Dataset Challenge (CORD-19) から派生したCOVID-19 内部用QAの暫定テストセットを提供する。
• COVID-19 コンテンツ上での教師なしおよび域外の監視付きQAモデルを評価する。
• ドメイン適応と質問形式（自然言語 vs. キーワード）がQA性能にどのように影響するかを見積もる。

提案手法

• Kaggle’s literature reviews in CORD-19から124の質問–記事ペアを作成する（バージョン0.1）。
• 各ペアについて、対応する記事内の正確な回答スパンを手作業で特定する。正確なスパンが曖昧な場合には、文レベルの関連性をマークする。
• 記事を文として表現し、クエリ q に対する関連性をスコアリング関数 ρ(q, s_i) で評価する。
• ランキングを平均再現性順位（MRR）、P@1（NL）、R@3（NL）で評価する。
• BM25、通常のBERT種（SciBERT、BioBERT）、ドメイン適応型BERT、域外監視付きモデル（SQuAD微調整BioBERT、MS MARCO微調整BERT/BioBERT、T5）をベースラインとして比較する。
• 実務的なシステムを模倣するため、情報アクセスを2段階の観点（検索→ハイライト/QA処理）で採用する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショットまたは転移ベースのQAアプローチは、科学論文の中でCOVID-19に関連する回答文を特定するのにどの程度有効か？
• RQ2 ドメイン適応済みトランスフォーマーと従来の語彙ベースのベースラインでは、COVID-19コンテンツに対してどの程度の追加価値があるか？
• RQ3 自然言語の質問とキーワードクエリは、このドメインのQAおよび検索モデルの指示にどのような違いを生むか？
• RQ4 パンデミック時に評価リソースを迅速に構築するための実践的な示唆は何か？

主な発見

モデル	NL 質問	キーワード照会	P@1 (NL)	R@3 (NL)	MRR (NL)	P@1 (KW)	R@3 (KW)	MRR (KW)
Random	0.012	0.034	–	0.012	0.034	–
BM25	0.150	0.216	0.243	0.150	0.216	0.243
BERT (unsupervised)	0.081	0.117	0.159	0.073	0.164	0.187
SciBERT (unsupervised)	0.040	0.056	0.099	0.024	0.064	0.094
BioBERT (unsupervised)	0.097	0.142	0.170	0.129	0.145	0.185
BERT (MS MARCO)	0.194	0.315	0.329	0.234	0.306	0.342
BioBERT (SQuAD)	0.161	0.403	0.336	0.056	0.093	0.135
BioBERT (MS MARCO)	0.194	0.313	0.312	0.185	0.330	0.322
T5 (MS MARCO)	0.282	0.404	0.415	0.210	0.376	0.360

• BM25は強力なベースラインで、自然言語とキーワードクエリの両方の設定で、いくつかの教師なしニューラルアプローチを上回る。
• BioBERT（教師なし）は、特にキーワードクエリで通常のBERTを上回る改善を示し、ドメイン適応が入力スタイルの一部に有効であることを示唆する。
• 域外監督付きモデル（MS MARCOまたはSQuADで微調整）は教師なしモデルを上回り、T5が試験されたモデルの中で一般的に最も効果的である。
• ドメイン適応の恩恵はニュアンスがある：BioBERTはNL質問に有効だが、MS MARCO微調整はBioBERTの利点のいくつかを打ち消す可能性がある。
• 自然言語の質問がキーワードクエリよりもトランスフォーマーモデルの性能を引き上げる傾向があり、マルチステージ検索パイプラインの設計上の考慮点を浮き彫りにしている。