[논문 리뷰] Annotating Electronic Medical Records for Question Answering

Preethi Raghavan, Siddharth Patwardhan외 2명|arXiv (Cornell University)|2018. 05. 17.

Topic Modeling참고 문헌 18인용 수 13

한 줄 요약

이 논문은 전자 건강 기록(EHR)에서 환자별 맞춤형 질문-답변 데이터셋을 생성하기 위한 재현 가능하고 의학생 주도의 방법론을 제시한다. 이 방법은 0.71의 코헨의 카파 상관도를 기록하며, 71명의 환자 기록에서 총 5,696개의 질문을 생성했고, 그 중 1,747개의 질문은 전문가가 검증한 답변과 짝을 이루었으며, 이는 의료 분야의 기계 학습 기반 질문-답변 시스템의 훈련 및 평가를 가능하게 한다.

ABSTRACT

Our research is in the relatively unexplored area of question answering technologies for patient-specific questions over their electronic health records. A large dataset of human expert curated question and answer pairs is an important pre-requisite for developing, training and evaluating any question answering system that is powered by machine learning. In this paper, we describe a process for creating such a dataset of questions and answers. Our methodology is replicable, can be conducted by medical students as annotators, and results in high inter-annotator agreement (0.71 Cohen's kappa). Over the course of 11 months, 11 medical students followed our annotation methodology, resulting in a question answering dataset of 5696 questions over 71 patient records, of which 1747 questions have corresponding answers generated by the medical students.

연구 동기 및 목표

• 환자별 맞춤형 질문-답변 생성을 위한 확장 가능하고 재현 가능한 방법 개발
• 기계 학습 모델의 임상 질문-답변 훈련 및 평가를 위한 대규모 전문가가 검증한 데이터셋의 부족 문제 해결
• 구조화된 애너테이션 가이드라인과 의학생 애너테이터를 활용하여 높은 상호 애너테이터 일치도 확보
• 자연어 처리 연구를 위한 임상 의사결정 지원 및 환자 참여 분야의 연구를 지원하는 데이터셋 구축

제안 방법

• 의학생들이 임상 노트에서 질문을 추출하고 환자별 EHR 내용을 바탕으로 답변을 생성하기 위한 표준화된 애너테이션 프로토콜을 설계함.
• 애너테이터들은 EHR의 일부를 사전 훈련하고, 질문 구성과 답변 생성의 일관성을 확보하기 위해 상세한 가이드라인을 따름.
• 의견 불일치를 해결하고 애너테이션 품질을 향상시키기 위해 반복적인 검토 및 공감대 형성 과정을 포함함.
• 상호 애너테이터 일치도는 코헨의 카파를 사용해 측정되었으며, 최종 점수는 0.71로 상당한 일치도를 나타냄.
• 11개월 동안 11명의 의학생이 71명의 환자 기록을 대상으로 데이터셋을 구축함.
• 최종 데이터셋은 총 5,696개의 질문과 1,747개의 답변 쌍을 포함하며, 모두 훈련된 의학생들이 검토함.

실험 결과

연구 질문

• RQ1 의학생 애너테이터를 활용하여 전자 건강 기록에서 질문-답변 쌍을 생성하기 위한 확장 가능하고 재현 가능한 애너테이션 프로세스를 개발할 수 있는가?
• RQ2 임상 질문-답변 데이터셋 생성 과업에서 구조화된 가이드라인을 사용할 경우, 어떤 정도의 상호 애너테이터 일치도를 달성할 수 있는가?
• RQ3 이 방법론을 통해 한 명의 환자 기록에서 얼마나 많은 임상적으로 관련성이 있는 질문과 답변을 생성할 수 있는가?
• RQ4 의학생을 애너테이터로 활용할 경우, 생성된 QA 쌍의 임상 정확성과 관련성은 어느 정도 보장되는가?
• RQ5 이 데이터셋은 환자별 맞춤형 질문-답변를 위한 기계 학습 모델의 개발 및 평가를 지원할 수 있는가?

주요 결과

• 애너테이션 프로세스는 0.71의 코헨의 카파 상관도를 기록하여 애너테이터 간 높은 일致성을 보였음.
• 11개월 동안 11명의 의학생이 총 71명의 환자 기록에서 5,696개의 질문을 생성함.
• 이 중 1,747개의 질문은 전문가가 검증한 답변과 짝을 이루어 높은 품질의 훈련 및 평가 자원을 형성함.
• 이 방법론은 재현 가능하며, 최소한의 임상 지도를 받은 의학생이 쉽게 구현할 수 있음.
• 결과적으로 생성된 데이터셋은 기계 학습 모델의 임상 질문-답변 분야에서의 훈련 및 평가를 위한 유용한 기준 자료로 기능함.
• 이 데이터셋은 특히 임상 의사결정 지원 및 환자 참여와 같은 환자 중심 응용 분야에서 자연어 처리 연구를 지원함.