[논문 리뷰] Development of an Extractive Clinical Question Answering Dataset with Multi-Answer and Multi-Focus Questions

Sungrim Moon, Huan He외 2명|arXiv (Cornell University)|2022. 01. 07.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 2018년 n2c2 코퍼스에서 유래한 96,939개의 QA 항목을 포함한 임상 추출형 질의응답(EQA) 데이터셋인 RxWhyQA를 소개한다. 이 데이터셋은 다중 답변 및 다중 초점 질문에 중점을 두며, 약물-이유 관계(1:다, 다:1, 다:다)를 활용해 복잡하고 현실적인 임상 질의를 모델링한다. 또한 다중 답변 및 다중 약물 질문이 여전히 도전 과제로 남아 있음을 입증하며, 기준 모델의 F1 스코어는 전반적으로 0.72이며, 다중 답변 질문에서는 0.43을 기록한다.

ABSTRACT

Background: Extractive question-answering (EQA) is a useful natural language processing (NLP) application for answering patient-specific questions by locating answers in their clinical notes. Realistic clinical EQA can have multiple answers to a single question and multiple focus points in one question, which are lacking in the existing datasets for development of artificial intelligence solutions. Objective: Create a dataset for developing and evaluating clinical EQA systems that can handle natural multi-answer and multi-focus questions. Methods: We leveraged the annotated relations from the 2018 National NLP Clinical Challenges (n2c2) corpus to generate an EQA dataset. Specifically, the 1-to-N, M-to-1, and M-to-N drug-reason relations were included to form the multi-answer and multi-focus QA entries, which represent more complex and natural challenges in addition to the basic one-drug-one-reason cases. A baseline solution was developed and tested on the dataset. Results: The derived RxWhyQA dataset contains 96,939 QA entries. Among the answerable questions, 25% require multiple answers, and 2% ask about multiple drugs within one question. There are frequent cues observed around the answers in the text, and 90% of the drug and reason terms occur within the same or an adjacent sentence. The baseline EQA solution achieved a best f1-measure of 0.72 on the entire dataset, and on specific subsets, it was: 0.93 on the unanswerable questions, 0.48 on single-drug questions versus 0.60 on multi-drug questions, 0.54 on the single-answer questions versus 0.43 on multi-answer questions. Discussion: The RxWhyQA dataset can be used to train and evaluate systems that need to handle multi-answer and multi-focus questions. Specifically, multi-answer EQA appears to be challenging and therefore warrants more investment in research.

연구 동기 및 목표

• 다중 답변 및 다중 초점 질문을 포함한 현실적인 임상 QA 데이터셋의 부족을 해결하기 위해.
• 실제 임상 환경에서의 복잡한 질의, 특히 여러 약물이나 이유를 포함한 질문을 반영하는 데이터셋을 개발하기 위해.
• 다양한 측면을 포함한 임상 질문을 다룰 수 있는 AI 시스템의 훈련 및 평가를 지원하기 위해.
• 환자 기록의 자연어 패턴을 모델링하여 임상 환경에서 추출형 QA 시스템의 강건성을 향상시키기 위해.
• 다양한 약물 및 다중 답변 질의와 같은 어려운 질문 유형에 대한 성능 평가 기준을 제공하기 위해.

제안 방법

• 2018년 n2c2 임상 NLP 챌린지 코퍼스에서 애너테이션된 약물-이유 관계를 사용하여 데이터셋을 구축하였다.
• 1:다, 다:1, 다:다 약물-이유 관계를 활용하여 다중 답변 또는 다중 초점이 있는 QA 쌍을 생성하였다.
• 질의는 자연스러운 임상 질의 패턴을 반영하도록 구성되었으며, 단일 약물에 대해 여러 이유를 묻는 질문이나 여러 약물을 묻는 질문을 포함하였다.
• 정확도가 높은 근접성 기반으로 답변을 포함하는 텍스트 스퍼를 임상 노트에서 추출하였으며, 약물 및 이유 용어의 90%가 답변과 같은 문장 또는 인접한 문장 내에 존재하였다.
• 표준 평가 지표(예: F1 스코어)를 사용하여 데이터셋에서 기준 추출형 QA 모델을 훈련 및 평가하였다.
• 정답 가능성 및 언어적 일관성 측면에서 데이터셋을 검증하여 QA 쌍의 관련성과 정확성을 확보하였다.

실험 결과

연구 질문

• RQ1 실제 임상 실무에서 흔한 다중 답변 및 다중 초점 질문을 반영하기 위해 임상 QA 데이터셋을 어떻게 향상시킬 수 있는가?
• RQ2 실제 임상 환경에서의 임상 질문 중 다수의 답변 또는 다수의 약물 초점이 필요한 비율은 얼마인가?
• RQ3 기존의 추출형 QA 모델은 단순한 질문에 비해 다각적 복잡한 임상 질문에서 어떻게 성능을 내는가?
• RQ4 다중 답변 및 다중 초점 임상 질문에서 답변 주변에 존재하는 언어적 신호는 무엇인가?
• RQ5 단일 답변과 다중 답변 질문을 동일한 성능으로 효과적으로 처리할 수 있는 단일 QA 시스템이 가능한가?

주요 결과

• RxWhyQA 데이터셋은 총 96,939개의 QA 항목을 포함하며, 정답이 가능한 질문 중 25%는 다중 답변이 필요하고, 2%는 단일 질문에서 여러 약물을 묻는다.
• 약물 및 이유 용어의 90%가 답변과 같은 문장 또는 인접한 문장 내에 존재하여 강력한 局소적 맥락 신호를 나타낸다.
• 기준 EQA 모델은 전체 데이터셋에서 전반적인 F1 스코어 0.72를 기록하여 복잡한 질의에 대해 중간 수준의 성능을 보였다.
• 다중 답변 질문에서는 성능이 크게 저하되었으며(F1 = 0.43), 단일 답변 질문(F1 = 0.54)에 비해 다중 답변 추출의 어려움이 드러났다.
• 비정답 질문에서는 가장 높은 성능(F1 = 0.93)을 기록하여, 비정답 질의를 탐지하는 능력이 뛰어나다는 것을 시사한다.
• 다중 약물 질문은 단일 약물 질문보다 더 어려웠으며, F1 스코어는 각각 0.60과 0.48을 기록하여 다중 초점 질의의 모델링 향상 필요성을 시사한다.