[논문 리뷰] Towards an Automated SOAP Note: Classifying Utterances from Medical Conversations

Benjamin Schloss, Sandeep Konam|arXiv (Cornell University)|2020. 07. 17.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 의료 대화에서 발화를 SOAP 노트 항목(주관적, 객관적, 평가, 계획)과 발화자 역할(의료진 또는 환자)으로 자동 분류하기 위한 계층적 딥러닝 모델을 제안한다. 이는 bi-LSTM 문맥화를 통해 near-human 수준의 성능을 달성하며, SOAP 분류에서는 F1 ~90%를 기록하고, 발화자 분류에서는 F1 +7-11%의 향상을 이룬다. 또한 모델을 노이즈가 많은 ASR 전사본에 적응시키기 위한 모듈러한 방법을 도입하여 발화자 레이블링에 대한 강건성을 향상시켰지만, SOAP 분류에는 영향을 주지 못했다.

ABSTRACT

Summaries generated from medical conversations can improve recall and understanding of care plans for patients and reduce documentation burden for doctors. Recent advancements in automatic speech recognition (ASR) and natural language understanding (NLU) offer potential solutions to generate these summaries automatically, but rigorous quantitative baselines for benchmarking research in this domain are lacking. In this paper, we bridge this gap for two tasks: classifying utterances from medical conversations according to (i) the SOAP section and (ii) the speaker role. Both are fundamental building blocks along the path towards an end-to-end, automated SOAP note for medical conversations. We provide details on a dataset that contains human and ASR transcriptions of medical conversations and corresponding machine learning optimized SOAP notes. We then present a systematic analysis in which we adapt an existing deep learning architecture to the two aforementioned tasks. The results suggest that modelling context in a hierarchical manner, which captures both word and utterance level context, yields substantial improvements on both classification tasks. Additionally, we develop and analyze a modular method for adapting our model to ASR output.

연구 동기 및 목표

• 의료 대화에서 자동 SOAP 노트 생성을 위한 철저한 정량적 베이스라인 부족 문제를 해결하기 위해.
• 발화를 SOAP 항목과 발화자 역할로 분류하는 머신러닝 프레임워크를 개발하여, 후속 요약 및 문서 자동화를 가능하게 하기 위해.
• 8,130건의 의료 대화에 대한 인간 전사 및 ASR 전사본과 해당 최적화된 SOAP 노트를 포함한 벤치마크 데이터셋을 구축하기 위해.
• bi-LSTM를 활용한 문맥 모델링이 발화 수준 표현에 적용되었을 때 분류 성능 향상에 기여하는지 평가하기 위해.
• 종합적인 훈련 없이도 ASR 생성 텍스트에 적응할 수 있는 모듈러한 방법을 설계하고 검증하기 위해.

제안 방법

• 모델은 bi-LSTM 레이어를 통해 어휘 수준과 발화 수준의 문맥을 모두 포착하는 계층적 인코더-디코더 아키텍처를 사용한다.
• 발화 임베딩은 상하좌우 LSTM을 사용하여 상호 발화 간 의존성을 모델링함으로써 분류 성능을 향상시킨다.
• 모듈러한 적응 기법은 문자열 정렬과 레이블 스무딩을 활용하여 인간 전사 발화를 ASR 전사 발화로 매핑한다. 이는 전사 오류를 처리하기 위함이다.
• 모델은 인간 전사 및 ASR 전사 데이터 양쪽 모두에 대해 미세조정되며, 훈련 중에 매핑이 적용되어 ASR 노이즈에 대한 강건성을 향상시킨다.
• ASR와 NLU 훈련을 분리함으로써, Google의 사전 훈련된 ASR 시스템과 같은 기존 시스템과의 통합이 가능하며, 공동 최적화가 필요로 하지 않는다.
• 다중 작업 학습 설정을 탐색하여 SOAP 항목과 발화자 역할을 동시에 예측했지만, 성능 향상은 명시적으로 보고되지 않았다.

실험 결과

연구 질문

• RQ1 계층적 딥러닝 모델이 의료 대화의 발화를 SOAP 노트 항목으로 높은 성능으로 분류할 수 있는가?
• RQ2 bi-LSTM를 활용한 상호 발화 간 문맥 모델링이 SOAP 항목과 발화자 역할 분류 정확도에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 ASR 전사본에 적응하기 위한 모듈러한 방법이 종합적 훈련 없이도 모델의 강건성을 향상시킬 수 있는가?
• RQ4 훈련 시 ASR 생성 텍스트가 포함될 경우, SOAP 항목 및 발화자 역할 분류 성능에 어떤 영향을 미치는가?
• RQ5 발화 분할 및 다이아라이제이션의 품질이 ASR 데이터에서 모델 성능에 어느 정도 영향을 미치는가?

주요 결과

• 계층적 bi-LSTM 모델은 SOAP 항목 분류에서 약 90%의 F1 점수를 기록하여 인간 수준의 성능에 근접했다.
• bi-LSTM 문맥화를 적용한 결과, 비문맥 기반 베이스라인 대비 SOAP 항목 분류의 F1 점수에서 절대 6-7% 향상되었다.
• 발화자 역할 분류에서는 bi-LSTM 문맥화 적용으로 F1 점수가 절대 7-11% 향상되어 상호 발화 간 의존성에 강한 영향을 받는다는 것을 시사했다.
• 모듈러한 ASR 적응 방법은 훈련 데이터에 ASR 전사본이 포함된 경우 발화자 역할 분류 성능을 향상시켰지만, SOAP 항목 분류에는 향상 효과가 없었다.
• ASR 데이터로 인한 SOAP 분류 성능 향상이 없는 것은 인간 전사 모델이 이미 최고 수준에 도달해 있어 향상 여유가 없기 때문일 수 있다.
• 본 연구는 자동 SOAP 노트 생성을 위한 첫 번째 철저한 정량적 기준을 제공하며, 인간 및 ASR 전사본과 최적화된 SOAP 노트를 포함한 8,130건의 의료 대화로 구성된 대규모 데이터셋을 제공한다.