[논문 리뷰] emrQA: A Large Corpus for Question Answering on Electronic Medical Records

Anusri Pampari, Preethi Raghavan외 2명|arXiv (Cornell University)|2018. 09. 03.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 기존 i2b2 임상 NLP 주석을 재활용하여 생성한 대규모 환자별 맞춤형 전자 의료 기록(EMR) 질의응답(QA) 데이터셋인 emrQA를 소개한다. 이 프레임워크는 전문가가 라벨링한 실체 및 관계를 활용하여 자동으로 400,000개의 질문-답변 쌍과 100만 개의 질문-논리형식 쌍을 생성하며, 시간적 및 산술적 추론과 같은 복잡한 추론 작업을 지원하는 해석 가능한 임상 기반 QA 모델의 훈련을 가능하게 한다.

ABSTRACT

We propose a novel methodology to generate domain-specific large-scale question answering (QA) datasets by re-purposing existing annotations for other NLP tasks. We demonstrate an instance of this methodology in generating a large-scale QA dataset for electronic medical records by leveraging existing expert annotations on clinical notes for various NLP tasks from the community shared i2b2 datasets. The resulting corpus (emrQA) has 1 million question-logical form and 400,000+ question-answer evidence pairs. We characterize the dataset and explore its learning potential by training baseline models for question to logical form and question to answer mapping.

연구 동기 및 목표

• 임상 NLP 연구를 위한 대규모 공개 EMR QA 데이터셋의 부족을 해결하기 위해.
• 기존 NLP 주석을 활용하여 도메인 특화 QA 데이터셋을 확장 가능하고 전문가의 노력이 최소한인 프레임워크를 개발하기 위해.
• 종합적인 임상 서술의 복잡성을 반영하는 데이터셋을 만들기 위해, 장기적 기록, 시간적 추론, 의학 용어를 포함하여.
• 질문과 답변를 연결하는 상징적 논리형식을 통해 해석 가능한 QA 모델 개발을 지원하기 위해.
• SQuAD와 같은 오픈 도메인 데이터셋에는 없는 어려운 추론 작업, 예를 들어 산술적 추론과 시간적 추론을 기준으로 한 모델 평가를 가능하게 하기 위해.

제안 방법

• 임상 노트에서 기존 i2b2 주석(예: 명시적 실체 및 관계)을 재활용하여 질문-답변 쌍과 논리형식을 생성하기 위해.
• 역공학적 접근을 사용: 주석된 실체-관계 쌍을 기반으로 질문 템플릿과 논리형식 템플릿을 정의하기 위해.
• 각 주석된 실체-관계 쌍을 자연어 질문과 의미적 구조를 나타내는 기호적 논리형식으로 매핑하기 위해.
• 원본 임상 텍스트에서 답변 스팬을 추출하여 질문 및 논리형식과의 일치를 보장하기 위해.
• i2b2 데이터셋의 1,000건 이상의 환자 기록에 이 프레임워크를 적용하여 총 100만 개의 질문-논리형식 쌍과 40만 개의 질문-답변 쌍을 생성하기 위해.
• 템플릿을 조합하고 어휘적 다양성 또는 공호성 표현을 도입하여 복잡성을 증가시켜 추론 과제를 데이터셋에 확장하기 위해.

실험 결과

연구 질문

• RQ1 기존 임상 NLP 주석이 최소한의 전문가 노력으로 대규모 고품질 EMR QA 데이터셋을 체계적으로 재활용할 수 있는가?
• RQ2 emrQA의 질문 복잡성은 SQuAD와 같은 오픈 도메인 QA 데이터셋과 비교해 복잡한 추론 및 언어적 다양성 측면에서 어떻게 다른가?
• RQ3 논리형식이 임상 QA에서 모델의 해석 가능성과 성능에 얼마나 기여하는가?
• RQ4 실제 EMR QA 작업에서 나타나는 추론 유형(예: 시간적 또는 산술적 추론)은 무엇이며, 이를 데이터셋에 어떻게 반영할 수 있는가?
• RQ5 제안된 프레임워크는 주석 자원이 제한된 다른 도메인에도 일반화될 수 있는가?

주요 결과

• emrQA 데이터셋은 400,000개의 질문-답변 쌍과 100만 개의 질문-논리형식 쌍을 포함하여, 현재 공개된 환자별 맞춤형 EMR QA 코퍼스 중 가장 크다.
• 질문-논리형식 및 질문-답변 매핑을 위한 베이스라인 모델은 다중 관계 질문에서 성능이 낮게 나타나, 데이터셋이 복잡한 추론 요구를 잘 반영하고 있음을 시사한다.
• 오류 분석 결과, 예측 실패의 38%가 다중 문장 추론 문제에서 발생하며, 그 중 16%는 다중 증거 질문에서 증거가 누락된 데 기인한다.
• 문법적 다양성(14%)과 의학적 추론(10%)이 주요 과제이며, DrQA에 의해 예측된 증거 스팬이 불완전한 데서 기인한 오류가 14% 발생한다.
• SQuAD와 같은 오픈 도메인 벤치마크에는 없었던 새로운 추론 과제인 산술적 추론과 시간적 추론을 도입하여 임상적 관련성을 높였다.
• 프레임워크는 확장 가능하며, DBPedia와 같은 기존 지식 기반을 활용하여 Wikipedia 기반 QA나 다른 도메인에 대해 인공적으로 QA 쌍을 생성할 수 있어 인류 기반 수집 없이 적용 가능하다.