[논문 리뷰] AWS CORD-19 Search: A Neural Search Engine for COVID-19 Literature

Parminder Bhatia, Lan Liu외 13명|arXiv (Cornell University)|2020. 07. 17.

COVID-19 diagnosis using AI인용 수 14

한 줄 요약

AWS CORD-19 Search (ACS)는 Amazon Kendra, Comprehend Medical, Neptune와 같은 AWS 서비스를 기반으로 구축된 신경망 기반 검색 엔진으로, CORD-19 코퍼스를 대상으로 의미적이고 자연어 기반의 검색을 가능하게 한다. 깊이 있는 의미 이해, 명명된 엔터티 인식, 주제 모델링을 활용하여 문서 순위 매기기와 질의 응답에서 다른 시스템을 능가하며, 코로나19 연구자들에게 고품질이고 맥락에 부합하는 결과를 제공한다.

ABSTRACT

Coronavirus disease (COVID-19) has been declared as a pandemic by WHO with thousands of cases being reported each day. Numerous scientific articles are being published on the disease raising the need for a service which can organize, and query them in a reliable fashion. To support this cause we present AWS CORD-19 Search (ACS), a public, COVID-19 specific, neural search engine that is powered by several machine learning systems to support natural language based searches. ACS with capabilities such as document ranking, passage ranking, question answering and topic classification provides a scalable solution to COVID-19 researchers and policy makers in their search and discovery for answers to high priority scientific questions. We present a quantitative evaluation and qualitative analysis of the system against other leading COVID-19 search platforms. ACS is top performing across these systems yielding quality results which we detail with relevant examples in this work.

연구 동기 및 목표

• 코로나19 관련 과학적 문헌의 급격한 증가 속에서 관련성 있고 고품질의 문헌을 신속하게 검색하는 데 도전하는 문제를 해결하기 위해.
• 키워드 매칭을 넘어서 의미적 의도를 포괄하는 자연어를 사용해 연구자와 정책 입안자들이 생물의학 지식을 질의할 수 있도록 하기 위해.
• 문서 순위 매기기, 파assage 검색, 질의 응답, 주제 필터링을 지원하는 확장성 있고 프로덕션 수준의 검색 시스템을 구축하기 위해.
• 기존 공개 검색 플랫폼과의 비교를 통해 ACS의 뛰어난 성능을 평가하고 입증하기 위해.
• 피드백 루프, 질의 커리네이션, 자동 요약과 같은 향후 기능 개선의 기반을 마련하기 위해.

제안 방법

• 시스템은 트랜스포머 기반 임bedding을 기반으로 의미 기반 문서 및 파assage 순위 매기기를 수행하기 위해 핵심 신경망 기반 검색 엔진으로 Amazon Kendra를 사용한다.
• 검색된 파assage 내에서 약물, 질병, 단백질과 같은 핵심 생물의학적 엔터티를 식별하고 강조하기 위해 Comprehend Medical NER를 활용한다.
• 의료 분야 특화 주제, 예를 들어 '임상 치료' 또는 '면역학' 등으로 결과를 분류하고 필터링하여 관련성을 향상시키기 위해 주제 모델링을 적용한다.
• 엔터티와 개념 간의 연결을 맺고 문서 간의 관계를 발견함으로써 의미 이해를 향상시키기 위해 지식 그래프를 구축한다.
• 전체 CORD-19 데이터셋을 수신하고 NLP 모델을 통해 처리한 후 저지연, 고정확도 검색을 위한 색인으로 변환한다.
• 질의 강조, 주제 필터링, 순위 매겨진 응답 파assage 등의 기능을 갖춘 공개 웹 인터페이스를 통해 결과를 제공한다.

실험 결과

연구 질문

• RQ1 의미 이해 기반의 신경망 기반 검색 엔진은 키워드 기반 시스템에 비해 코로나19 관련 문헌 검색에서 얼마나 우수한 성능을 보일 수 있는가?
• RQ2 명명된 엔터티 인식과 주제 모델링은 생물의학 문헌 검색 결과의 정밀도와 관련성에 얼마나 기여하는가?
• RQ3 통합된 검색 시스템은 질문 응답, FAQ 매칭, 문서 순위 매기기 등 다양한 유형의 질의를 효과적으로 지원할 수 있는가?
• RQ4 질의의 의미적 변형, 예를 들어 'medications'(약물)를 'measures'(조치)로 변경했을 때 시스템은 어떻게 대응하는가?
• RQ5 명시적 피드백 및 커리네이션 메커니즘이 없는 상황에서 현재의 검색 시스템의 한계는 무엇인가?

주요 결과

• 정량적 평가와 정성적 분 析를 통해 검증된 결과, ACS는 다른 주요 공개 검색 플랫폼에 비해 문서 순위 매기기와 질의 응답에서 뛰어난 성능을 보였다.
• 질의에 정확한 용어 매칭이 없더라도 관련 파assage를 성공적으로 검색함으로써 강력한 의미 이해 능력을 입증했다.
• 주제 필터링은 결과의 관련성을 크게 향상시키며, 예를 들어 '임상 치료'를 선택했을 때 일반적인 정책 논의에서 임상 치료 세부 정보로의 전환을 가능하게 했다.
• 질의에서 'medication'(약물)라는 용어를 명시하지 않더라도 Comprehend Medical NER가 'ribavirin'(리바비린)과 'corticosteroids'(코르티코스테로이드)와 같은 핵심 생물의학적 엔터티를 정확히 식별하고 강조했다.
• 의미적 변화, 예를 들어 'medications'와 'measures' 간의 차이를 이해함으로써 맥락에 부합하고 정확한 응답 파assage를 제공하는 능력을 보였다.
• 강력한 성능에도 불구하고 ACS는 현재 피드백 루프와 질의 커리네이션 시스템을 보유하지 않아 향후 개선의 여지가 있음을 시사한다.