[論文レビュー] CAiRE-COVID: A Question Answering and Query-focused Multi-Document Summarization System for COVID-19 Scholarly Information Management

Dan Su, Yan Xu+4 more|arXiv (Cornell University)|May 4, 2020

Topic Modeling参考文献 43被引用数 9

ひとこと要約

CAiRE-COVID は、CORD-19 学術論文コーパスから関連情報を検索・抽出・要約するため、微調整済み事前学習済み言語モデルを活用した質問応答およびクエリ焦点型複数文書要約システムである。このシステムは Kaggle の COVID-19 チャレンジのタスクで優勝を果たし、要約プロセスに回答の関連性を組み込むことで、抽象的要約および抽出的要約の両タスクでベースラインを上回る一貫した ROUGE スコアの向上を示した。

ABSTRACT

We present CAiRE-COVID, a real-time question answering (QA) and multi-document summarization system, which won one of the 10 tasks in the Kaggle COVID-19 Open Research Dataset Challenge, judged by medical experts. Our system aims to tackle the recent challenge of mining the numerous scientific articles being published on COVID-19 by answering high priority questions from the community and summarizing salient question-related information. It combines information extraction with state-of-the-art QA and query-focused multi-document summarization techniques, selecting and highlighting evidence snippets from existing literature given a query. We also propose query-focused abstractive and extractive multi-document summarization methods, to provide more relevant information related to the question. We further conduct quantitative experiments that show consistent improvements on various metrics for each module. We have launched our website CAiRE-COVID for broader use by the medical community, and have open-sourced the code for our system, to bootstrap further study by other researches.

研究の動機と目的

• 急速に増加する COVID-19 学術文献からの高優先度の科学的情報を効率的に抽出・要約するという課題に対処すること。
• 医療研究者および一般市民がリアルタイムでクエリ焦点型の要約と回答抽出を支援するシステムを開発すること。
• 質問応答モジュールからの回答関連性を要約パイプラインに統合することで、複数文書要約の関連性と品質を向上させること。
• 医療専門家の評価と質問焦点型要約のベンチマークデータセットを用いて、システムのパフォーマンスを評価・検証すること。
• パブリックウェブサイトの公開とコードベースのオープンソース化により、広範なアクセスと再利用を可能にすること。

提案手法

• システムは、クエリの関連性とカバレッジに基づいて CORD-19 データセットから関連ドキュメントを選択するドキュメントリトリーバーを使用する。
• スニペットセレクタモジュールは、微調整済み QA モデル（BioBERT および MRQA）のアンサンブルを用いて、取得した段落から回答スパンを特定・強調表示する。
• クエリ焦点型要約のため、BART をベースとするモデルを用いて、抽象的要約および抽出的要約の両方において回答関連性を統合する新しい手法を導入する。
• 抽象的要約器は、文脈、回答スパン、クエリを連結した入力構成（BART(C,A,Q)）を用いることで、関連性と ROUGE スコアの向上を図る。
• 抽出的要約器は、回答関連性スコアを用いて段落を再順序付けし、要約の前処理を行うことで、LEAD ベースラインを上回る。
• システムは DUC および Debatepedia データセットで評価され、ROUGE スコアと Kaggle チャレンジにおける医療専門家の評価を用いてパフォーマンスが測定された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル質問応答システムは、COVID-19 の科学的文献の大規模コーパスから正確な回答を効果的に抽出できるか？
• RQ2 回答関連性は、複数文書要約にどのように統合され、生成された要約の関連性を向上させることができるか？
• RQ3 回答関連性を統合することで、抽象的要約および抽出的要約の両方において ROUGE スコアに測定可能な向上が見られるか？
• RQ4 QA と要約を統合したシステムは、実世界の医療情報検索タスクにおいて、既存のベースラインを上回る性能を示せるか？
• RQ5 このようなシステムは、将来のパンデミックや科学的情報管理の場面にどの程度一般化可能か？

主な発見

• QA モジュールは CovidQA データセットにおいて T5 モデルよりも高いリCALLを達成し、回答抽出における優れた性能を示した。
• キーワードベースの質問では、T5 に比べて精度分母（precision fraction）でわずかに優れており、質問タイプにかかわらず堅牢であることが示された。
• 提案されたクエリ焦点型要約器は、DUC および Debatepedia データセットの両方で BART ベースラインを上回り、一貫した ROUGE スコアの向上を達成した。
• 抽出的要約手法は LEAD ベースラインを上回り、回答関連性に基づく段落再順序付けがその主な要因となった。
• 文脈、回答スパン、クエリを含む BART(C,A,Q) の構成が、両データセットで最高の ROUGE スコアを達成し、回答関連性統合の有効性を確認した。
• システムは Kaggle の CORD-19 チャレンジで 10 個のタスクのうちの 1 つを受賞し、医療専門家の評価で裏付けられ、実用性と信頼性が確認された。