[논문 리뷰] Extracting Symptoms and their Status from Clinical Conversations

Nan Du, Kai Chen외 4명|arXiv (Cornell University)|2019. 06. 05.

Topic Modeling참고 문헌 24인용 수 9

한 줄 요약

이 논문은 임상 대화에서 증상과 그 상태(유발됨, 유발되지 않음, 기타)를 추출하기 위한 새로운 작업을 제안하며, 계층적 스파닝-속성 태깅(SA-T) 모델과 시퀀스-투-시퀀스(Seq2Seq) 모델을 사용한다. 새로 제작한 3,000건의 실명이 제거된 전문가가 태깅한 임상 대화 코퍼스를 기반으로 훈련된 모델들은 F-스코어가 0.5에서 0.8 사이를 기록했으며, SA-T 모델은 높은 정밀도를, Seq2Seq 모델은 높은 재현율을 보이며 상호 보완적인 강점을 드러내어 임상 기록 자동화에 기여한다.

ABSTRACT

This paper describes novel models tailored for a new application, that of extracting the symptoms mentioned in clinical conversations along with their status. Lack of any publicly available corpus in this privacy-sensitive domain led us to develop our own corpus, consisting of about 3K conversations annotated by professional medical scribes. We propose two novel deep learning approaches to infer the symptom names and their status: (1) a new hierarchical span-attribute tagging (\SAT) model, trained using curriculum learning, and (2) a variant of sequence-to-sequence model which decodes the symptoms and their status from a few speaker turns within a sliding window over the conversation. This task stems from a realistic application of assisting medical providers in capturing symptoms mentioned by patients from their clinical conversations. To reflect this application, we define multiple metrics. From inter-rater agreement, we find that the task is inherently difficult. We conduct comprehensive evaluations on several contrasting conditions and observe that the performance of the models range from an F-score of 0.5 to 0.8 depending on the condition. Our analysis not only reveals the inherent challenges of the task, but also provides useful directions to improve the models.

연구 동기 및 목표

• 의사들이 겪는 임상 기록의 부담 증가 문제를 해결하기 위해 의사-환자 대화에서 증상 추출을 자동화한다.
• 말하기 임상 대화에서 증상과 그 임상적 상태(유발됨, 유발되지 않음, 기타)를 식별하는 데 초점을 맞춘 새로운 정보 추출 작업을 정의한다.
• 대화적 맥락과 데이터 희소성의 과제에 맞게 맞춤형으로 설계된 두 가지 새로운 딥러닝 모델—SA-T와 Seq2Seq—을 개발하고 평가한다.
• 향후 임상 대화 이해 연구를 지원하기 위해 공개 가능한 고품질의 3,000건의 태깅된 임상 대화 코퍼스를 구축한다.
• 실제 임상 적용 요구사항을 반영한 평가 지표를 수립하며, 이는 상호 평가자 간 일致도 및 다양한 조건 하에서의 성능을 포함한다.

제안 방법

• 맥락적 표현을 사용해 증상 스파닝을 먼저 식별하고, 그 상태를 분류하는 계층적 스파닝-속성 태깅(SA-T) 모델을 제안한다. 이는 풀된 스파닝 표현을 통해 데이터 희소성을 줄인다.
• 스피커 전환의 슬라이딩 윈도우에서 증상과 그 상태를 디코딩하는 시퀀스-투-시퀀스 모델을 설계하여, 여러 발화에 산재한 증거를 모델링할 수 있도록 한다.
• 일반화 성능을 향상시키기 위해 커리큘럼 학습을 사용하여 희귀 증상 및 모호한 상태 사례에 특히 유리하게 한다.
• 14개의 신체계에서 186개의 증상이 포함된 3,000건의 실명이 제거된 임상 대화 코퍼스를 태깅하여 새로운 코퍼스를 구축한다. 각 증상은 상태(유발됨, 유발되지 않음, 기타)로 레이블링된다.
• 무게 조정이 없는 F1, 가중 F1, 정밀도, 재현율을 포함한 평가 지표를 정의하며, 비교를 위해 인간 태깅 '투표' 기준을 제공한다.
• 수동 대본 대비 음성 인식(ASR) 대본을 사용한 훈련 조건을 대비하여 추론 실패 모드를 분석하기 위해 다양한 조건에서 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 말하기 언어의 복잡성과 맥락에 따라 의미가 변하는 특성에도 불구하고, 딥러닝 모델이 임상 대화에서 증상과 그 상태를 얼마나 잘 추출할 수 있는가?
• RQ2 훈련 데이터 모odal(수동 대본 대비 ASR 대본)이 증상 및 상태 추출 성능에 어떤 영향을 미치는가?
• RQ3 다양한 증상 유형과 상태 카테고리에서 SA-T와 Seq2Seq 모델의 정밀도, 재현율, 내성에 대해 어떻게 비교할 수 있는가?
• RQ4 인간 태거들이 증상 및 상태 태깅에 얼마나 일致도를 보이며, 이는 작업의 난이도를 어떻게 반영하는가?
• RQ5 어떤 언어적 및 대화 패턴(예: 여러 발화에 산재한 증거)이 모델 오류를 유발하며, 이를 보완하기 위해 모델을 어떻게 개선할 수 있는가?

주요 결과

• 인간 평가자 간 일치도(F1 = 0.84 무게 조정 없음)는 전문 의료 서크립터들 사이에도 증상 및 상태 추출 작업이 본질적으로 어려운 임상적 과제임을 시사한다.
• SA-T 모델은 무게 조정 없는 F1이 0.71, 가중 F1이 0.77를 기록하여 잘 정의된 증상 스파닝에 대해 높은 정밀도와 내성성을 보였다.
• Seq2Seq 모델은 무게 조정 없는 F1이 0.70, 가중 F1이 0.79를 기록하여 더 높은 재현율을 보이며, 여러 발화에 산재한 맥락에서 유추된 증상 처리 능력이 뛰어났다.
• 수동 대본으로 훈련된 모델이 ASR 대본에 적용되었을 때 성능이 크게 떨어졌으며, 가중 F1이 약 0.14 감소하여 상당한 도메인 갭이 있음을 시사한다.
• 두 모델 모두 통증, 피로, 불쾌감, 수면 장애와 같은 증상에서 가장 어려움을 겪었으며, 이는 일반적으로 여러 발화에 걸쳐 전달되며 맥락 추론이 필요한 경우였다.
• 오류 분석 결과, '수면 곤란'이나 '체중 감소/증가'와 같은 증상은 증거가 여러 발화에 산재해 있어 자주 누락되었으며, 이는 장거리 의존성(장기 맥락)을 포착할 수 있는 모델이 필요함을 강조한다.