[論文レビュー] Transformer-Based Models for Question Answering on COVID19

Hillary Ngai, Yoona Park+2 more|arXiv (Cornell University)|Jan 16, 2021

Topic Modeling参考文献 22被引用数 17

ひとこと要約

本稿では、CORD-19 データセットを対象に、BERT、ALBERT、T5 モデルを用いた3つのトランスフォーマー基盤の質問応答システムを提案する。これらのシステムは、意味的検索（SBERT または LDA）と微調整済み QA ヘッドを組み合わせるものである。CovidQA および CovidGQA の両ベンチマークで、BERT-large が最高の F1 スコア（26.32）を達成した一方、ALBERT-base は最高の正確一致（EM）（13.04）を記録し、限られたラベル付きデータの中でも優れた性能を示した。

ABSTRACT

In response to the Kaggle's COVID-19 Open Research Dataset (CORD-19) challenge, we have proposed three transformer-based question-answering systems using BERT, ALBERT, and T5 models. Since the CORD-19 dataset is unlabeled, we have evaluated the question-answering models' performance on two labeled questions answers datasets extemdash CovidQA and CovidGQA. The BERT-based QA system achieved the highest F1 score (26.32), while the ALBERT-based QA system achieved the highest Exact Match (13.04). However, numerous challenges are associated with developing high-performance question-answering systems for the ongoing COVID-19 pandemic and future pandemics. At the end of this paper, we discuss these challenges and suggest potential solutions to address them.

研究の動機と目的

• 急速に増加する COVID-19 関連文献に対して、限られたラベル付きデータの中で高精度な質問応答システムを開発する課題に対処すること。
• 限られたラベル付きデータセットを用いて、トランスフォーマー基盤のモデル（BERT、ALBERT、T5）を生体医療 QA タスクに適用し、その性能を評価すること。
• 意味的検索（SBERT または LDA）と微調整済みトランスフォーマー QA モデルを統合したハイブリッド QA システムを構築し、精度と効率を向上させること。
• 検索モジュールとニューラル QA コンponentの統合を通じて、医療利用者に対するモデルの信頼性と説明可能性を向上させること。
• 転移学習と少数-shot適応を活用して、今後のパンデミック対応型 QA システムの基盤を提供すること。

提案手法

• SQuAD v1.1、SNLI、MultiNLI、STS、BioASQ のファクトイド QA データセットを用いて、BERT-large、ALBERT-base、T5-large を微調整し、事前学習段階で QA 機能を習得する。
• クエリの埋め込みと記事のタイトルの類似度に基づき、意味的類似度を用いて関連する論文を検索する Sentence-BERT を用いた SBERT-BERT-QA システムを構築する。
• 事前に LDA を用いて関連するドキュメントをフィルタリングし、その後微調整済みの ALBERT-base-uncased QA モデルに渡す LDA-ALBERT-QA システムを構築する。
• ALBERT の上流にトークンレベルの分類ヘッドを設け、検索済みドキュメント内での答えの開始・終了インデックスを予測する。
• F1 スコアおよび正確一致（EM）スコアを用いて、CovidQA および CovidGQA の2つの生体医療 QA ベンチマークでモデルを評価する。
• データ不足の問題に対処するため、まず SQuAD v1.1 で ALBERT を事前学習し、その後 BioASQ 6b のファクトイド QA ペair を用いて生物学的分野への適応をさらに微調整する。

実験結果

リサーチクエスチョン

• RQ1 BERT、ALBERT、T5 モデルは、リソースが限られた生体医療 QA タスクにおいてどのように性能を発揮するか？
• RQ2 SBERT や LDA とトランスフォーマー QA モデルを統合したハイブリッド検索-QA システムは、CORD-19 関連の質問に対して性能を向上させられるか？
• RQ3 BERT-large や ALBERT-base よりもパラメータ数が多いにもかかわらず、T5-large はなぜ性能が劣るのか？
• RQ4 現在のトランスフォーマー基盤 QA システムの主な限界は何か。特に、データ不足と説明可能性の観点から。
• RQ5 少数-shot 学習とドメイン特化の事前学習は、パンデミック関連研究における QA 性能をどのように向上させられるか？

主な発見

• BERT-large は、CovidQA データセットで最高の F1 スコア（26.32）を記録し、ALBERT-base や T5-large を上回った。
• ALBERT-base は、同じデータセットで最高の正確一致（EM）スコア（13.04）を記録し、答えの抽出におけるスパンの正確性が優れていた。
• 7億7千万パラメータを有するにもかかわらず、T5-large はすべての指標で BERT-large や ALBERT-base を下回った。これは、QA タスクに特化した事前学習が行われていなかったことが主な要因とされる。
• SBERT-BERT-QA システムは、クエリとタイトルの埋め込み間の意味的類似度を用いて関連する論文を効果的に検索し、下流の QA タスクの精度を向上させた。
• LDA-ALBERT-QA システムは、トピックモデリングを活用して QA 推論前に不要なドキュメントをフィルタリングし、検索の関連性を高めた。
• 本研究は、モデルの性能がパラメータ数に比例するわけではないこと、またドメイン特化の事前学習が生体医療 QA の性能向上に顕著に寄与することを示している。