[논문 리뷰] Answering Questions on COVID-19 in Real-Time

Jinhyuk Lee, Sean S. Yi외 6명|arXiv (Cornell University)|2020. 06. 29.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 과학 문헌에서 정확하고 스파니스트 기반의 답변을 제공하기 위해 생물의학 텍스트 마이닝과 QA 기법을 융합한 실시간 질문 응답 시스템인 covidAsk를 제시한다. BioBERT 기반의 명명된 실체 링킹과 실체 검색 엔진을 통합함으로써 시스템은 답변의 신뢰도와 사용성을 향상시키며, 새로 촬영한 코로나19 질문 데이터셋에서 강력한 제로샷 성능을 달성한다. 이 데이터셋은 소스 코드와 함께 공개된다.

ABSTRACT

The recent outbreak of the novel coronavirus is wreaking havoc on the world and researchers are struggling to effectively combat it. One reason why the fight is difficult is due to the lack of information and knowledge. In this work, we outline our effort to contribute to shrinking this knowledge vacuum by creating covidAsk, a question answering (QA) system that combines biomedical text mining and QA techniques to provide answers to questions in real-time. Our system also leverages information retrieval (IR) approaches to provide entity-level answers that are complementary to QA models. Evaluation of covidAsk is carried out by using a manually created dataset called COVID-19 Questions which is based on information from various sources, including the CDC and the WHO. We hope our system will be able to aid researchers in their search for knowledge and information not only for COVID-19, but for future pandemics as well.

연구 동기 및 목표

• 코로나19 연구의 핵심 지식 격차를 해소하기 위해 실시간으로 정확한 질문 응답을 가능하게 하기 위해.
• QA 모델에 생물의학 명명된 실체 링킹(NEL)을 통합하여 답변의 신뢰도를 향상시키기 위해.
• 평가를 위해 고도로 정제된 수작업으로 촬영한 코로나19 질문 데이터셋을 개발하고 공개하기 위해.
• 향후 패닉 대응 노력에 기여할 수 있는 확장 가능하고 재사용 가능한 시스템을 구축하기 위해.
• 기존 QA 모델이 새로운 영역인 코로나19 문헌 분야로의 제로샷 전이 가능성 평가하기 위해.

제안 방법

• 시스템은 검색, QA, 생물의학 NLP 구성 요소를 융합한 하이브리드 파이프라인을 사용한다.
• 생물의학 명명된 실체(예: 질병, 약물)를 추출하고 MeSH CUI와 같은 표준 식별자로 정규화하기 위해 BioBERT 기반 모델을 활용한다.
• 실체 수준의 질의에 대해 관련 실체를 검색함으로써 안정성을 향상시키기 위해 생물의학 실체 검색 엔진을 사용한다.
• 실시간 QA 모델의 미세조정된 버전(Seo et al., 2019)을 사용하여 답변 스파니스트를 추출하며, 이는 SQuAD와 Natural Questions에서 사전 훈련된 모델이다.
• 질의는 의문문 형식의 질문과 키워드 기반 질의 모두를 지원하며, 관련 문서에서 연속적인 답변 스파니스트를 반환한다.
• 평가 자료로는 CDC와 WHO와 같은 권위 있는 출처에서 유래한 수작업으로 제작된 데이터셋인 코로나19 질문 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 일반 도메인 데이터셋에서 훈련된 제로샷 QA 시스템이 코로나19와 같은 도메인 특화된 복잡한 질문에 효과적으로 대답할 수 있는가?
• RQ2 생물의학 명명된 실체 링킹을 통합함으로써 생물의학 도메인에서 QA 출력의 정확도와 사용성은 어떻게 향상되는가?
• RQ3 기존 QA 모델이 패닉 대응과 같이 급격히 변화하는 과학적 도메인으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 하이브리드 QA-IR 시스템은 단독 QA 또는 IR 모델보다 정밀하고 맥락적으로 관련성이 높은 답변을 검색하는 데 더 뛰어난가?
• RQ5 생물의학 실체 검색 엔진의 통합은 답변 생성의 안정성과 풍부함을 얼마나 향상시키는가?

주요 결과

• covidAsk는 도메인 특화 데이터로의 미세조정 없이도 코로나19 질문 데이터셋에서 강력한 제로샷 성능을 달성한다.
• BioBERT 기반의 명명된 실체 링킹 통합은 실체를 표준 CUI에 연결함으로써 답변의 해석 가능성과 추적 가능성을 크게 향상시킨다.
• 시스템은 자연어 질문과 키워드 기반 질의를 모두 처리할 수 있어 입력 형식에 관계없이 뛰어난 견고성을 보였다.
• 수작업으로 정제한 코로나19 질문 데이터셋은 권위 있는 출처에서 유래한 다양한 사실 기반 질문을 포함하고 있어 신뢰할 수 있는 평가를 가능하게 한다.
• 소스 코드와 데이터셋은 공개되어 있어 재현성과 향후 생물의학 도메인으로의 확장에 기여할 수 있다.
• 정성적 분석 결과, 모델은 맥락적으로 관련성이 높은 답변을 생성하며, 어휘 수준의 예측은 강조되고 실체는 적절히 연결되어 있다.