[論文レビュー] AWS CORD-19 Search: A Neural Search Engine for COVID-19 Literature

Parminder Bhatia, Lan Liu+13 more|arXiv (Cornell University)|Jul 17, 2020

COVID-19 diagnosis using AI被引用数 14

ひとこと要約

AWS CORD-19 Search (ACS) は、Amazon Kendra や Comprehend Medical、Neptune といった AWS サービスを活用して構築されたニューラル検索エンジンであり、CORD-19 コーパス上で意味的で自然言語検索を可能にする。深層意味理解、固有表現認識、トピックモデリングを活用することで、COVID-19 研究者に対して高品質で文脈的に関連性の高い結果を提供し、他のシステムを上回る文書ランク付けおよび質問応答の性能を発揮する。

ABSTRACT

Coronavirus disease (COVID-19) has been declared as a pandemic by WHO with thousands of cases being reported each day. Numerous scientific articles are being published on the disease raising the need for a service which can organize, and query them in a reliable fashion. To support this cause we present AWS CORD-19 Search (ACS), a public, COVID-19 specific, neural search engine that is powered by several machine learning systems to support natural language based searches. ACS with capabilities such as document ranking, passage ranking, question answering and topic classification provides a scalable solution to COVID-19 researchers and policy makers in their search and discovery for answers to high priority scientific questions. We present a quantitative evaluation and qualitative analysis of the system against other leading COVID-19 search platforms. ACS is top performing across these systems yielding quality results which we detail with relevant examples in this work.

研究の動機と目的

• COVID-19 関連の科学的文献が急増する中で、関連性が高く品質の高い文献を迅速に取得する課題に対処すること。
• キーワード照合をはるかに超えた意味的意図を捉える自然言語によるバイオメディカル知識の照会を研究者および政策立案者に可能にすること。
• 文書ランク付け、パassage抽出、質問応答、トピックフィルタリングをサポートするスケーラブルで本番環境対応の検索システムを構築すること。
• 既存の公開検索プラットフォームと比較して優れた性能を評価し、実証すること。
• フィードバックループ、質問のキュレーション、自動要約などの将来的な拡張の基盤を築くこと。

提案手法

• システムは、トランスフォーマーに基づく埋め込みを用いて意味的文書およびパassageランク付けを実行するコアとなるニューラル検索エンジンとして Amazon Kendra を使用する。
• 抽出されたパassageにおける薬剤、疾患、タンパク質などの主要なバイオメディカルエンティティを特定・強調表示するために Comprehend Medical NER が採用される。
• 「臨床的治療」や「免疫学」のようなドメイン固有のトピックで結果を分類・フィルタリングするため、トピックモデリングが適用される。
• エンティティと概念を文書間でリンクする知識グラフを構築することで、意味的理解および関係の発見を強化する。
• パイプラインは CORD-19 データセットを完全に取り込み、NLP モデルで処理し、低遅延かつ高精度な検索を可能にするインデックスに変換する。
• 結果は、クエリ強調表示、トピックフィルタリング、ランク付けされた応答パassageを備えた公開 Web インターフェースを通じて提供される。

実験結果

リサーチクエスチョン

• RQ1 意味理解を備えたニューラル検索エンジンは、キーワードベースのシステムと比較して、COVID-19 関連文献の抽出においてどの程度優れているか？
• RQ2 固有表現認識およびトピックモデリングは、バイオメディカル文献における検索結果の正確性および関連性をどの程度向上できるか？
• RQ3 統合された検索システムは、質問応答、FAQ の照合、文書ランク付けといった多様なクエリタイプを効果的にサポートできるか？
• RQ4 「薬物」から「対策」に変更するようなクエリの意味的変化は、システムがどのように処理するか？
• RQ5 明示的なフィードバックおよびキュレーションメカニズムが欠如している場合、現在のリトリーブシステムの限界は何か？

主な発見

• 定量的評価および定性的分析による検証により、ACS は他の主要な公開検索プラットフォームを上回り、文書ランク付けおよび質問応答の両面で優れた性能を発揮している。
• クエリに正確な語句一致がない場合でも、関連するパassageを効果的に抽出できており、強力な意味的理解能力を示している。
• トピックフィルタリングは結果の関連性を顕著に向上させ、例えば「臨床的治療」と選択することで、一般の政策論議から臨床的治療の詳細へとシフトする。
• クエリに「薬物」と明示的に記載がなくても、Comprehend Medical NER は「リバビリン」や「コルチコステロイド」などの主要なバイオメディカルエンティティを正しく特定・強調表示している。
• 「薬物」と「対策」といった意味的シフトを理解できる能力のおかげで、文脈的に適切で正確な応答パassageが提供されている。
• 優れた性能を発揮しているものの、ACS は現在、フィードバックループおよび質問キュレーションシステムを備えていないため、将来的な改善の余地が明確に示されている。