[논문 리뷰] What Disease does this Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams

Di Jin, Eileen Pan외 4명|arXiv (Cornell University)|2020. 09. 28.

Topic Modeling참고 문헌 30인용 수 60

한 줄 요약

이 논문은 MedQA를 소개합니다. 이는 의학 보드 시험에서 수집된 대규모 다국어 개방 도메인 객관식 QA 데이터셋이며, 의학 교과서 텍스트 말뭉치와 현행 OpenQA 시스템에 대한 중요한 도전 과제를 보여주는 베이스라인 실험을 제공합니다.

ABSTRACT

Open domain question answering (OpenQA) tasks have been recently attracting more and more attention from the natural language processing (NLP) community. In this work, we present the first free-form multiple-choice OpenQA dataset for solving medical problems, MedQA, collected from the professional medical board exams. It covers three languages: English, simplified Chinese, and traditional Chinese, and contains 12,723, 34,251, and 14,123 questions for the three languages, respectively. We implement both rule-based and popular neural methods by sequentially combining a document retriever and a machine comprehension model. Through experiments, we find that even the current best method can only achieve 36.7\%, 42.0\%, and 70.1\% of test accuracy on the English, traditional Chinese, and simplified Chinese questions, respectively. We expect MedQA to present great challenges to existing OpenQA systems and hope that it can serve as a platform to promote much stronger OpenQA models from the NLP community in the future.

연구 동기 및 목표

• 미국, 중국 대륙, 대만 의학 보드 시험에서 소스된 의료 문제에 대한 자유 형식 다지선다형 OpenQA 데이터셋을 생성한다.
• 읽기 이해를 지원하기 위해 검색된 근거를 뒷받침하는 대규모 의료 교과서 말뭉치를 제공한다.
• 검색 및 추론에서 병목 현상을 식별하고 향후 모델 개발을 안내하기 위해 최첨단 OpenQA 접근법을 평가한다.
• 다중 홉 추론 및 도메인 특화 지식 요건과 같은 과제를 강조하기 위해 데이터셋 특성을 분석한다.

제안 방법

• DrQA 프레임워크를 따른 문서 리트리버와 문서 리더로 구성된 이항(OpenQA) 시스템을 구성한다.
• 규칙 기반 베이스라인(PMI, BM25를 활용한 IR)과 미세조정된 BERT/Roberta 계열 모델을 포함한 신경망 모델을 비교한다.
• 영어와 중국어(간체/번체) 질문을 각각 네 가지 선택지로 사용하고; 옵션 순서를 무작위로 섞고 데이터의 공정 사용을 위해 조정한다.
• MedQA에서 사전 학습된 언어 모델(BERT, BioBERT, RoBERTa 등)을 [CLS] context [SEP] question+options [SEP] 형태로 입력을 구성하여 파인튜닝한다.
• 지식 소스로 영어와 중국어 의학 교과서 대량 모음을 사용한다; PDF에서 OCR을 수행하고 구문 분석 전에 전처리한다.

실험 결과

연구 질문

• RQ1 다국어로 된 대규모 도메인 특정 의학 OpenQA 데이터셋에서 현재 OpenQA 시스템이 얼마나 잘 작동하는가?
• RQ2 복합 의학 사례 문제를 풀 때 검색 및 독해에서 어떤 주요 병목 현상이 나타나는가?
• RQ3 다국어 MedQA가 OpenQA에서 모델 성능과 언어 간 전이에 어떤 영향을 미치는가?
• RQ4 검색된 문단이 다중 홉 의학 질문에 답하기에 충분한 증거를 제공하는가?
• RQ5 오류 분석이 의학 OpenQA 모델의 검색 및 추론 개선에 어떤 시사점을 제공하는가?

주요 결과

• 가장 강력한 모델조차 MedQA에서 제한된 정확도를 보이며, 테스트 세트에서 최상의 방법에 대해 미국 36.7%, 전통 중국어 42.0%, 간체 중국어 70.1%를 달성한다.
• 검색 품질이 병목 현상으로, 현재 IR/검색은 여러 구절에 걸친 다중 홉 추론을 지지하지 못한다.
• 사전 학습된 언어 모델은 일반적으로 MCMLE에서 비사전형 베이스라인보다 우수하지만, USMLE와 TWMLE에서는 많은 모델이 IR 베이스라인을 능가하지 못해 데이터셋 난이도를 강조한다.
• 데이터셋은 두 가지 질문 유형(단일 지식 포인트 vs. 다중 홉, 사례 기반 추론)으로 구성되어 있으며 USMLE에서 더 도전적인 Type 2 질문의 비율이 더 높은 편이다.
• 인간 전문가가 의학 교과서 말뭉치에서 많은 문제에 대해 충분한 증거를 찾을 수 있다(USMLE 88%, MCMLE 100%, TWMLE 87%), 이는 말뭉치 커버리지가 많은 항목에 충분함을 시사한다.
• 오류 분석은 USMLE에서 잘못된 답의 주요 원인으로 검색 실패를 지목하며 두 가지 실패 패턴: 과도하게 넓은 후보질병과 두 단계 추론 요구를 포함한다.