[論文レビュー] Answering Questions on COVID-19 in Real-Time

Jinhyuk Lee, Sean S. Yi+6 more|arXiv (Cornell University)|Jun 29, 2020

Topic Modeling参考文献 28被引用数 7

ひとこと要約

本稿では、COVID-19に関するリアルタイム質問応答システムであるcovidAskを提示する。このシステムは、バイオメディカルテキストマイニングとQA技術を組み合わせることで、科学文献からの正確でスパンベースの回答を提供する。BioBERTに基づく名前付きエンティティリンキングとエンティティ検索エンジンを統合することで、回答の信頼性と使いやすさが向上し、新たに整備されたCOVID-19質問データセットにおいて強力なゼロショット性能を達成した。このデータセットは、ソースコードと共に公開されている。

ABSTRACT

The recent outbreak of the novel coronavirus is wreaking havoc on the world and researchers are struggling to effectively combat it. One reason why the fight is difficult is due to the lack of information and knowledge. In this work, we outline our effort to contribute to shrinking this knowledge vacuum by creating covidAsk, a question answering (QA) system that combines biomedical text mining and QA techniques to provide answers to questions in real-time. Our system also leverages information retrieval (IR) approaches to provide entity-level answers that are complementary to QA models. Evaluation of covidAsk is carried out by using a manually created dataset called COVID-19 Questions which is based on information from various sources, including the CDC and the WHO. We hope our system will be able to aid researchers in their search for knowledge and information not only for COVID-19, but for future pandemics as well.

研究の動機と目的

• COVID-19研究における重要な知識の空白を埋めるために、リアルタイムかつ正確な質問応答を可能にすること。
• バイオメディカル名前付きエンティティリンキング（NEL）をQAモデルと統合することで、回答の信頼性を向上させること。
• 評価用に高品質で手作業で整備されたCOVID-19質問データセットを開発し、公開すること。
• 将来のパンデミック対応の支援に役立つスケーラブルで再利用可能なシステムを構築すること。
• 既存のQAモデルが、急速に進化する新興分野の科学文献、特にCOVID-19分野にどの程度ゼロショットで一般化可能かを評価すること。

提案手法

• システムは、リtrieval、QA、バイオメディカルNLPコンponentを統合したハイブリッドパイプラインを採用している。
• MeSH CUIsなどの標準化識別子にエンティティを正規化するため、バイオメディカル名前付きエンティティ（例：疾患、薬剤）を抽出・同定するために、BioBERTベースのモデルを用いている。
• エンティティレベルのクエリに対して関連するエンティティを取得することで、安定性を高めるバイオメディカルエンティティ検索エンジンを活用している。
• 回答スパンは、SQuADおよびNatural Questionsで事前学習済みのリアルタイムQAモデル（Seo et al., 2019）を微調整したバージョンを用いて抽出している。
• システムは質問形式のクエリとキーワードベースのクエリの両方をサポートし、関連ドキュメントからの連続する回答スパンを返す。
• 評価は、CDCやWHOなどの権威ある出典から抽出した手作業で作成されたデータセット、COVID-19 Questionsを用いて実施している。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインのデータセットで学習したゼロショットQAシステムは、COVID-19に関する複雑なドメイン特化質問を効果的に回答できるか？
• RQ2 バイオメディカル名前付きエンティティリンキングを統合することで、バイオメディカル分野におけるQA出力の正確性と使いやすさはどの程度向上するか？
• RQ3 既存のQAモデルは、パンデミック対応のような急速に変化する新興科学分野にどの程度一般化可能か？
• RQ4 ハイブリッドQA-IRシステムは、単体のQAまたはIRモデルに比べ、正確で文脈的に関連性の高い回答をより効果的に取得できるか？
• RQ5 バイオメディカルエンティティ検索エンジンの統合は、回答生成の安定化と拡張性をどの程度高めるか？

主な発見

• covidAskは、ドメイン特化データで微調整を行わずに、COVID-19質問データセットで強力なゼロショット性能を達成した。
• BioBERTベースの名前付きエンティティリンキングの統合により、エンティティが標準化CUIにリンクされることで、回答の解釈可能性と追跡可能性が顕著に向上した。
• システムは自然言語の質問とキーワードクエリの両方を効果的に処理でき、入力フォーマットの多様性に対しても高い耐性を示した。
• 手作業で整備されたCOVID-19質問データセットは、権威ある出典に基づく多様で事実に根ざした質問を含んでおり、信頼性の高い評価を可能にした。
• ソースコードとデータセットは公開されており、再現性の確保と、将来的に他のバイオメディカル分野への応用拡張を可能にした。
• 定性的な分析では、モデルが文脈的に関連性のある回答を生成しており、フレーズレベルの予測が強調表示され、エンティティが適切にリンクされていることが確認された。