[논문 리뷰] CAiRE-COVID: A Question Answering and Query-focused Multi-Document Summarization System for COVID-19 Scholarly Information Management

Dan Su, Yan Xu외 4명|arXiv (Cornell University)|2020. 05. 04.

Topic Modeling참고 문헌 43인용 수 9

한 줄 요약

CAiRE-COVID는 CORD-19 학술 논문 코퍼스에서 관련 정보를 검색하고 추출하여 요약하는 데에 사전 미세조정된 언어 모델을 활용하는 질문-답변 및 쿼리 중심 다중 문서 요약 시스템이다. 이 시스템은 카글(Kaggle) 코로나19 챌린지 과제에서 우승하였으며, 요약 과정에 답변 관련성을 통합함으로써 일관된 ROUGE 점수 향상을 보였고, 개선된 추상적 요약 및 추출적 요약 과제에서 베이스라인을 능가하였다.

ABSTRACT

We present CAiRE-COVID, a real-time question answering (QA) and multi-document summarization system, which won one of the 10 tasks in the Kaggle COVID-19 Open Research Dataset Challenge, judged by medical experts. Our system aims to tackle the recent challenge of mining the numerous scientific articles being published on COVID-19 by answering high priority questions from the community and summarizing salient question-related information. It combines information extraction with state-of-the-art QA and query-focused multi-document summarization techniques, selecting and highlighting evidence snippets from existing literature given a query. We also propose query-focused abstractive and extractive multi-document summarization methods, to provide more relevant information related to the question. We further conduct quantitative experiments that show consistent improvements on various metrics for each module. We have launched our website CAiRE-COVID for broader use by the medical community, and have open-sourced the code for our system, to bootstrap further study by other researches.

연구 동기 및 목표

• 코로나19 학술 문헌의 급격히 증가하는 볼륨에서 효율적으로 고위험 과학 정보를 추출하고 요약하는 데 도전하는 것.
• 의료 연구자들과 일반 대중을 위해 실시간으로 쿼리 중심 요약 및 답변 추출을 지원하는 시스템을 개발하는 것.
• 질문-답변 모듈에서 유도된 답변 관련성을 요약 파ip라인에 통합하여 다중 문서 요약의 관련성과 품질을 향상시키는 것.
• 의료 전문가 평가와 질문 중심 요약에 대한 벤치마크 데이터셋을 활용하여 시스템 성능을 평가하고 검증하는 것.
• 공개 웹사이트를 런칭하고 코드베이스를 오픈소스화하여 보다 넓은 접근성과 재사용 가능성을 확보하는 것.

제안 방법

• 시스템은 쿼리 관련성과 커버리지 기반으로 CORD-19 데이터셋에서 관련 문서를 선별하는 문서 검색기(Document Retriever)를 사용한다.
• 스니펫 선택기(Snippet Selector) 모듈은 미세조정된 QA 모델들(예: BioBERT 및 MRQA)의 앙상블을 활용하여 검색된 문단에서 답변 스퍼널을 식별하고 강조한다.
• 쿼리 중심 요약을 위해, BART 기반 모델을 통해 추상적 요약 및 추출적 요약에 모두 답변 관련성을 통합하는 새로운 방법을 도입한다.
• 추상적 요약기에서는 BART(C,A,Q)와 같은 입력 구성(configuration)을 사용하여 맥락, 답변 스퍼널, 쿼리를 결합함으로써 관련성과 ROUGE 점수를 향상시킨다.
• 추출적 요약기에서는 답변 관련성 점수를 활용해 요약 이전에 문단을 재정렬함으로써 LEAD 기반 베이스라인을 초월한다.
• 시스템은 DUC 및 Debatepedia 데이터셋에서 평가되었으며, ROUGE 메트릭과 카글 챌린지에서 의료 전문가 평가를 통해 성능이 측정되었다.

실험 결과

연구 질문

• RQ1 신경 기반 질문-답변 시스템은 코로나19에 관한 대규모 과학 문헌 코퍼스에서 정확한 답변을 효과적으로 추출할 수 있는가?
• RQ2 답변 관련성을 다중 문서 요약에 통합하여 생성된 요약의 관련성을 향상시킬 수 있는가?
• RQ3 답변 관련성을 통합함으로써 추상적 요약 및 추출적 요약 과정에서 ROUGE 점수에 측정 가능한 향상이 이루어지는가?
• RQ4 QA와 요약을 통합한 시스템은 실제 의료 정보 검색 과제에서 기존의 베이스라인을 능가할 수 있는가?
• RQ5 이러한 시스템이 향후 패닉 또는 과학 정보 관리 시나리오에 얼마나 일반화될 수 있는가?

주요 결과

• QA 모듈은 CovidQA 데이터셋에서 T5 모델보다 더 높은 리콜을 기록하여 답변 추출 성능이 뛰어나다는 것을 입증하였다.
• 키워드 기반 질문에 대해서는 QA 모델이 정밀도 분수에서 T5를 약간 뛰어넘어, 질문 유형 간에 강건함을 입증하였다.
• 제안된 쿼리 중심 요약기는 DUC 및 Debatepedia 데이터셋에서 BART 기반 베이스라인 대비 일관된 ROUGE 점수 향상을 달성하였다.
• 추출적 요약 방법은 LEAD 기반 베이스라인을 능가하였으며, 이는 주로 답변 관련성 기반 문단 재정렬에 기인하였다.
• 맥락, 답변 스퍼널, 쿼리가 포함된 BART(C,A,Q) 구성이 두 데이터셋에서 가장 높은 ROUGE 점수를 기록하여 답변 관련성 통합의 효과를 확인하였다.
• 시스템은 카글 CORD-19 챌린지의 10개 과제 중 하나에서 우승하였으며, 의료 전문가의 검증을 통과하여 실제 적용 가능성과 신뢰성을 입증하였다.