[論文レビュー] Automatic Textual Evidence Mining in COVID-19 Literature

Xuan Wang, Weili Liu+3 more|arXiv (Cornell University)|Apr 27, 2020

Topic Modeling参考文献 8被引用数 17

ひとこと要約

本稿では、COVID-19関連の文献を対象にしたCORD-19コーパスを対象として、テキスト的証拠抽出を自動化するWebベースのシステムであるEvidenceMinerを提示する。ドキュメントレベルの検索を超えて、特定のテキスト的証拠文の直接的検索を支援するシステムの不足を補うことを目的としている。ドキュメントに含まれるエンティティとメタパターン（例：CHEMICALがDISEASEを抑制する）を事前にインデックス化するため、遠隔教師付き命名エンティティ認識（NER）とオープン情報抽出を用いる。これにより、単語、エンティティ、パターンのスコアを組み合わせた重み付き順位付けモデルを用いて、高速かつクエリ駆動型の文単位の証拠検索が可能となり、トップ10でのnDCGスコアが0.889という最先端の性能を達成した。

ABSTRACT

We created this EVIDENCEMINER system for automatic textual evidence mining in COVID-19 literature. EVIDENCEMINER is a web-based system that lets users query a natural language statement and automatically retrieves textual evidence from a background corpora for life sciences. It is constructed in a completely automated way without any human effort for training data annotation. EVIDENCEMINER is supported by novel data-driven methods for distantly supervised named entity recognition and open information extraction. The named entities and meta-patterns are pre-computed and indexed offline to support fast online evidence retrieval. The annotation results are also highlighted in the original document for better visualization. EVIDENCEMINER also includes analytic functionalities such as the most frequent entity and relation summarization.

研究の動機と目的

• 生物医学文献からの特定のテキスト的証拠文の直接的検索を支援するシステムの不足を解消すること。
• 研究者が自然言語の文をクエリとして入力し、CORD-19のような大規模な生物医学コーパスから文単位の証拠を取得できるようにすること。
• 人為的アノテーションデータを一切必要としない完全自動化されたシステムを構築し、アノテーションの負担を軽減すること。
• 関係的パターンを含む柔軟なクエリをサポートし、仮説の生成と検証を支援すること。
• エンティティと関係の要約などの視覚的・分析的支援機能を提供し、証拠の解釈を容易にすること。

提案手法

• CORD-19コーパス上で、外部の知識ベースを用いた遠隔教師付き命名エンティティ認識（CORD-NER）を用いて、エンティティを事前に抽出する。
• オープン情報抽出を用いて文からメタパターン（例：CHEMICALがDISEASEを抑制する）を抽出し、同義語グループに分類する。
• 単語ベース、エンティティベース、パターンベースの3つのオフラインインデックスを構築し、各キーが文の識別子にマッピングされるようにする。
• BM25による語彙的関連性スコア、エンティティの共起、メタパターンマッチングを組み合わせた重み付き信頼スコアを用いて、証拠を順位付けする。
• 語彙的関連性スコアとしてBM25を用い、$ S_w(Q,S) = \sum_{i=1}^{n} IDF(w_i) \cdot \frac{f(w_i,S) \cdot (k+1)}{f(w_i,S) + k \cdot (1-b + b \cdot \frac{|S|}{avgsl})} $ で計算する。IDFは $ \log \frac{N - n(w_i) + 0.5}{n(w_i) + 0.5} $ で算出される。
• 元の文書内で検出された証拠を強調表示し、エンティティや関係の頻度要約といった分析機能をサポートする。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーション訓練データを一切必要としない完全自動化されたシステムが、生物医学文献から文単位のテキスト的証拠を抽出できるか？
• RQ2 命名エンティティとメタパターンの統合が、従来のキーワードベース手法と比較して、証拠検索の正確性をどの程度向上させるか？
• RQ3 本システムは、関係的パターン（例：「XがYを引き起こす」）を含む柔軟で自然言語に近いクエリをサポートでき、仮説の生成に役立つか？
• RQ4 マスクの効果がCOVID-19感染伝播に与える影響といった、論争的・対立的である可能性のあるトピックに対し、システムは効果的に証拠を検索できるか？
• RQ5 本システムは、ある主張に対して支持する証拠と反対する証拠を両方特定・提示でき、バランスの取れた科学的探求を可能にするか？

主な発見

• EvidenceMinerは、トップ10でのnDCGスコアが0.889に達し、BM25（0.746）やLitSense（0.658）を大きく上回り、マルチレベルインデキシングと順位付けの有効性を実証した。
• UV-C放射線がSARS-CoV-2の不活化法としての代替手段であるという証拠を効果的に抽出し、UV不活化ウイルスがワクチン候補であると示唆する文も検出できた。
• 『CORONAVIRUSがDISEASEORSYNDROMEを引き起こす』といったクエリに対して、『HCoV-OC43、HCoV-229E、HCoV-HKU1、HCoV-NL63は、軽度で自限性の上気道感染症を引き起こす』といった高品質で関連性の高い文を抽出した。
• レムデシビルやアモジアキンがCOVID-19治療法としての可能性を示す臨床試験関連の文を複数抽出し、ドラッグリポurpose（薬物再利用）の支援に貢献した。
• マスクの有効性に関する賛否の両方の主張を抽出でき、論争的トピックにおける対立する証拠を提示する能力を示した。
• 元の文書内で証拠を強調表示し、頻出するエンティティと関係の要約を提供する機能により、研究者が証拠を解釈しやすくなり、実用性が向上した。