[논문 리뷰] Automatic Textual Evidence Mining in COVID-19 Literature

Xuan Wang, Weili Liu외 3명|arXiv (Cornell University)|2020. 04. 27.

Topic Modeling참고 문헌 8인용 수 17

한 줄 요약

이 논문은 CORD-19 코ロ나19 문헌에 특화된 웹 기반 시스템인 EvidenceMiner를 제안한다. 이 시스템은 원격 감독(named entity recognition)과 개방형 정보 추출을 활용하여 엔티티와 메타패턴을 사전 인덱싱하고, 단어, 엔티티, 패턴 점수를 조합한 가중치 기반 랭킹 모델을 사용해 질의 기반 문장 수준의 증거를 신속하게 검색한다. 이로 인해 최상위 10개 이내에서 최신 기술 수준의 nDCG 점수 0.889를 달성한다.

ABSTRACT

We created this EVIDENCEMINER system for automatic textual evidence mining in COVID-19 literature. EVIDENCEMINER is a web-based system that lets users query a natural language statement and automatically retrieves textual evidence from a background corpora for life sciences. It is constructed in a completely automated way without any human effort for training data annotation. EVIDENCEMINER is supported by novel data-driven methods for distantly supervised named entity recognition and open information extraction. The named entities and meta-patterns are pre-computed and indexed offline to support fast online evidence retrieval. The annotation results are also highlighted in the original document for better visualization. EVIDENCEMINER also includes analytic functionalities such as the most frequent entity and relation summarization.

연구 동기 및 목표

• 생물의학 문헌에서 문서 수준 검색을 넘어서 특정 텍스트 증거 문장을 직접 검색할 수 있도록 지원하는 시스템의 부족을 해결하기 위해.
• 연구자들이 자연어 문장 질의를 통해 CORD-19와 같은 대규모 생물의학 코퍼스에서 문장 수준의 증거를 검색할 수 있도록 하기 위해.
• 인간 레이블링된 학습 데이터가 필요 없는 완전 자동화된 시스템을 개발하여 레이블링 부담을 줄이기 위해.
• 관계 패턴을 포함한 다재다능한 질의를 지원하여 가설 생성 및 검증을 보조하기 위해.
• 엔티티 및 관계 요약과 같은 시각적 및 분석적 기능을 제공하여 증거 해석을 보다 쉽게 만들기 위해.

제안 방법

• 외부 지식 기반을 활용해 원격 감독를 적용한 CORD-NER를 사용해 CORD-19 코퍼스에서 원격 감독된 명명된 엔티티 인식을 수행한다.
• 개방형 정보 추출을 통해 문장에서 메타패턴(예: 화합물가역병)을 추출하고, 동의어 기반으로 그룹화한다.
• 단어 기반, 엔티티 기반, 패턴 기반의 세 가지 오프라인 인덱스를 구축하여 키를 문장 식별자로 매핑해 빠른 검색을 가능하게 한다.
• 증거 랭킹을 위한 가중치 기반 신뢰도 점수를 사용한다: 단어 수준 관련도, 엔티티 공존, 메타패턴 매칭을 조합한다.
• 단어 점수로 BM25를 사용한다: $ S_w(Q,S) = \sum_{i=1}^{n} IDF(w_i) \cdot \frac{f(w_i,S) \cdot (k+1)}{f(w_i,S) + k \cdot (1-b + b \cdot \frac{|S|}{avgsl})} $, IDF는 $ \log \frac{N - n(w_i) + 0.5}{n(w_i) + 0.5} $로 계산된다.
• 원본 문서에서 검색된 증거를 강조하고, 엔티티 및 관계의 빈도 요약과 같은 분석 기능을 지원한다.

실험 결과

연구 질문

• RQ1 인간 레이블링된 학습 데이터가 없는 완전 자동화된 시스템이 생물의학 문헌에서 문장 수준의 텍스트 증거를 검색할 수 있는가?
• RQ2 명명된 엔티티와 메타패턴의 통합이 기존의 키워드 기반 방법에 비해 증거 검색 정확도 향상에 얼마나 효과적인가?
• RQ3 관계 패턴(예: 'X가 Y를 유발함')을 포함한 자연어 질의를 유연하게 지원할 수 있는가? 이는 가설 생성에 기여하는가?
• RQ4 마스크의 효과성과 같은 논란의 여지가 있는 주제에 대해 시스템의 성능은 어떠한가?
• RQ5 주장에 대한 지지 증거와 반대 증거를 모두 식별하고 표시할 수 있는가? 이는 균형 잡힌 과학적 탐구를 가능하게 하는가?

주요 결과

• EvidenceMiner는 최상위 10개 이내에서 nDCG 점수 0.889를 기록해 BM25(0.746)와 LitSense(0.658)를 크게 앞서며, 다중 수준 인덱싱과 랭킹의 효과성을 입증했다.
• UV-C 방사선이 SARS-CoV-2의 비활성화 방법으로서의 가능성을 지지하는 증거를 성공적으로 검색했으며, 일부 문장은 UV로 비활성화된 바이러스가 백신 후보로 제안된 바가 있었다.
• 'CORONAVIRUS cause DISEASEORSYNDROME'와 같은 질의에서는 'HCoV-OC43, HCoV-229E, HCoV-HKU1, HCoV-NL63은 경미하고 자가 치유되는 상부 호흡기 감염을 유발한다'와 같은 고품질의 관련 문장을 검색했다.
• 리모데시비르와 아모디아퀸이 코로나19 치료제로 가능성이 있다는 임상 시험 관련 문장을 다수 검색해 약물 재도입 노력에 기여했다.
• 마스크의 효과성에 대한 찬성 및 반대 의견을 모두 검색해 논란의 여지가 있는 주제에 대해 갈등하는 증거를 표출할 수 있음을 입증했다.
• 원본 문서에서 증거를 강조하고 빈도 기반 엔티티 및 관계 요약을 제공함으로써 연구자들이 증거를 더 쉽게 이해하고 활용할 수 있도록 했다.