[논문 리뷰] Extracting a Knowledge Base of Mechanisms from COVID-19 Papers

Tom Hope, Aida Amini외 7명|arXiv (Cornell University)|2020. 10. 08.

Biomedical Text Mining and Ontologies참고 문헌 56인용 수 6

한 줄 요약

이 논문은 코로나19 과학 문헌에서 생물학적 과정부터 경제적 영향에 이르기까지 다양한 메커니즘을 추출하기 위한 통합 스키마를 제안한다. 2,400개의 인스턴스가 레이블링된 데이터셋(Mechanic)을 기반으로 미세조정된 NLP 모델을 사용하여 저자들은 메커니즘 관계 150만 개를 포함하는 지식 기반 Comb를 구축하였으며, 전문가 사용성 연구에서 PubMed 대비 평균 만족도 점수 91% 대 74%로 뛰어난 성능을 보였다.

ABSTRACT

The COVID-19 pandemic has spawned a diverse body of scientific literature that is challenging to navigate, stimulating interest in automated tools to help find useful knowledge. We pursue the construction of a knowledge base (KB) of mechanisms -- a fundamental concept across the sciences encompassing activities, functions and causal relations, ranging from cellular processes to economic impacts. We extract this information from the natural language of scientific papers by developing a broad, unified schema that strikes a balance between relevance and breadth. We annotate a dataset of mechanisms with our schema and train a model to extract mechanism relations from papers. Our experiments demonstrate the utility of our KB in supporting interdisciplinary scientific search over COVID-19 literature, outperforming the prominent PubMed search in a study with clinical experts.

연구 동기 및 목표

• 성장 중인 다학제적 코로나19 과학 문헌을 탐색하는 데 도전 과제를 해결하기 위해.
• 바이러스학, 공학, 경제학 등 다양한 분야에서 분자 기능에서 사회적 영향에 이르기까지 다양한 메커니즘을 포괄하는 통합 스키마를 개발하기 위해.
• 과학 논문에서 메커니즘 관계를 추출하는 고품질의 오픈 액세스 지식 기반(Comb)을 구축하기 위해.
• 이 지식 기반을 활용하여 구조화되고 다학제적인 과학 검색을 지원하는 데서의 유용성을 입증하기 위해.
• 임상 전문가를 대상으로 한 사용성 연구를 통해 PubMed와의 성능 비교를 수행하기 위해.

제안 방법

• 직접 메커니즘(예: 바이러스 결합)과 간접 메커니즘(예: 경제적 영향)을 구분하는 거시적 스키마를 설계하기 위해.
• 제안된 스키마를 사용해 코로나19 논문에서 2,400개의 메커니즘 인스턴스를 레이블링하여 Mechanic 데이터셋을 구축하기 위해.
• 자연어 추론 모델을 Mechanic 데이터셋에서 훈련하여 자유 텍스트 스트링 내 메커니즘 관계를 식별하기 위해.
• CORD-19 코퍼스의 160,000개 초록에 대해 훈련된 모델을 적용하여 메커니즘 관계 150만 개를 포함하는 지식 기반 Comb를 구축하기 위해.
• 사용자 질의에 기반해 구조화된 메커니즘 관계를 검색하는 검색 엔진을 구현하기 위해.
• 활성으로 코로나19 치료 및 연구를 수행 중인 5명의 의사(MD)를 대상으로 표준화된 질문지로 PubMed와의 비교를 위한 사용성 연구를 수행하기 위해.

실험 결과

연구 질문

• RQ1 비교적 통합된 스키마가 바이러스학, 공학, 경제학 등 다양한 분야에서 다양한 과학적 메커니즘을 효과적으로 포괄할 수 있는가?
• RQ2 Mechanic 데이터셋에서 훈련된 모델이 코로나19 외 일반 생물의학 문헌으로의 일반화 능력은 어느 정도인가?
• RQ3 정형화된 메커니즘 관계 지식 기반은 전통적인 PubMed 스타일 검색 대비 과학적 검색의 유용성과 품질을 향상시키는가?
• RQ4 임상 전문가들이 문헌 내 인과관계 및 기능관계를 찾는 데서 메커니즘 중심 검색 시스템을 PubMed보다 얼마나 선호하는가?
• RQ5 Comb에서 추출된 메커니즘 관계의 정확도와 커버리지 수준은 기존 오픈 정보 추출 접근 방식과 비교해 어떻게 되는가?

주요 결과

• Comb 지식 기반은 코로나19 논문 초록 160,000개에서 추출한 150만 개의 메커니즘 인스턴스를 포함한다.
• Comb에서 샘플링한 관계의 수동 평가 결과 정확도가 88%로 나타나 추출 파이프라인의 높은 신뢰성을 입증한다.
• Mechanic 데이터셋에서 훈련된 모델은 추가 미세조정 없이도 PubMed의 일반 생물의학 논문 샘플에서 약 80%의 정확도를 달성하여 강력한 일반화 능력을 보였다.
• 5명의 의사(MD)를 대상으로 한 사용성 연구에서 Comb은 평균 만족도 점수 91%를 기록하여 PubMed의 74%를 크게 앞서며 유의미한 차이(p-value = 4.77×10⁻⁷)를 보였다.
• 전문가들은 Comb의 유용성과 결과 품질 모두에서 PubMed를 뛰어넘었으며, 동점 포함 기준으로 4.75/5의 전문가가 Comb의 점수를 PubMed와 동일하거나 높게 평가했다.
• 코로나19와 심장 부정맥 간의 연관성에 대한 질의에서 PubMed는 두 용어가 모두 포함된 논문 제목만 반환했지만, Comb은 명시적인 메커니즘 관계를 검색하여 더 높은 정밀도를 보였다.