[論文レビュー] Extracting a Knowledge Base of Mechanisms from COVID-19 Papers

Tom Hope, Aida Amini+7 more|arXiv (Cornell University)|Oct 8, 2020

Biomedical Text Mining and Ontologies参考文献 56被引用数 6

ひとこと要約

本論文は、COVID-19関連の科学文献から、生物学的プロセスから経済的影響に至るまでのメカニズムを統合的に抽出するためのスキーマを紹介する。2,400件のインスタンスをアノテートしたデータセット（Mechanic）を用いて微調整したNLPモデルを用い、150万件のメカニズム関係を含む知識ベースCombを構築した。臨床専門家によるユーザビリティ評価では、Combは平均満足度スコア91％を達成し、PubMedの74％を上回った。

ABSTRACT

The COVID-19 pandemic has spawned a diverse body of scientific literature that is challenging to navigate, stimulating interest in automated tools to help find useful knowledge. We pursue the construction of a knowledge base (KB) of mechanisms -- a fundamental concept across the sciences encompassing activities, functions and causal relations, ranging from cellular processes to economic impacts. We extract this information from the natural language of scientific papers by developing a broad, unified schema that strikes a balance between relevance and breadth. We annotate a dataset of mechanisms with our schema and train a model to extract mechanism relations from papers. Our experiments demonstrate the utility of our KB in supporting interdisciplinary scientific search over COVID-19 literature, outperforming the prominent PubMed search in a study with clinical experts.

研究の動機と目的

• 急激に増加する、多様な分野にまたがるCOVID-19科学文献のナビゲーションの課題に対処すること。
• ウイルス学、工学、経済学など多様な分野にまたがる、分子機能から社会的影響までをカバーする統合的スキーマの開発。
• 科学文献からメカニズム関係を抽出する高品質でオープンアクセスの知識ベース（Comb）の構築。
• この知識ベースが、構造的で多様な分野にまたがる科学的検索を支援する有効性を示すこと。
• 臨床専門家を対象としたユーザビリティ評価を通じて、PubMedと比較して本システムのパフォーマンスを評価すること。

提案手法

• 直接的なメカニズム（例：ウイルスの結合）と間接的なメカニズム（例：経済的影響）を区別する粗い粒度のメカニズムスキーマを設計する。
• 提案されたスキーマを用いて、COVID-19関連論文の2,400件のメカニズムインスタンスをアノテートし、Mechanicデータセットを構築する。
• Mechanicデータセット上で最先端の情報抽出モデルを訓練し、自由テキストのスパンからメカニズム関係を同定する。
• CORD-19コホーブの16万件の要約にその訓練済みモデルを適用し、150万件のメカニズムインスタンスを含むCombという知識ベースを構築する。
• ユーザーのクエリに基づいて構造化されたメカニズム関係を検索する検索エンジンをCombに実装する。
• 5名の臨床医（COVID-19の治療および研究に従事）を対象に、標準化されたアンケートを用いてCombとPubMedを比較するユーザビリティ評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 ウイルス学、工学、経済学など多様な分野にまたがる科学的メカニズムを、統合的スキーマが的確に捉えられるか。
• RQ2 Mechanicデータセットで訓練されたモデルは、COVID-19に限らない広範な生物医学文献にも一般化できるか。
• RQ3 構造化されたメカニズム関係の知識ベースは、従来のPubMed式の検索と比較して、科学的検索の有用性と質を向上させるか。
• RQ4 臨床専門家は、因果関係や機能的関係を探索する際、PubMedよりもメカニズム中心の検索システムをどれほど好むか。
• RQ5 Combで抽出されたメカニズム関係の正確性とカバレッジは、既存のオープン情報抽出アプローチと比較してどの程度か。

主な発見

• Comb知識ベースには、16万件のCOVID-19論文の要約から抽出された150万件のメカニズムインスタンスが含まれる。
• Combから抽出された関係のサンプルを手動で評価した結果、88％の正確性が得られ、抽出パイプラインの信頼性が裏付けられた。
• Mechanicデータセットで訓練されたモデルは、微調整なしで一般の生物医学論文のサンプルにおいて約80％の正確性を達成し、優れた一般化性能を示した。
• 5名の医師を対象としたユーザビリティ評価では、Combの平均満足度スコアは91％であり、PubMedの74％を有意に上回った（p値 = 4.77×10⁻⁷）。
• 専門家は、両者の有用性と結果の質においてCombをPubMedより高く評価し、5段階評価のうち4.75/5の専門家が、同点を含めてCombのスコアがPubMed以上であった。
• COVID-19と心室性不整脈の関連に関するクエリにおいて、PubMedは両方の用語を含む論文タイトルを返したが、因果関係は明示されていなかった。一方、Combは明示的なメカニズム関係を抽出して返し、優れた正確性を示した。