[논문 리뷰] Generating SOAP Notes from Doctor-Patient Conversations

Kundan Krishna, Sopan Khosla외 2명|arXiv (Cornell University)|2020. 05. 04.

Topic Modeling참고 문헌 7인용 수 22

한 줄 요약

이 논문은 의사-환자 대화 녹취록에서 SOAP 노트를 생성하기 위한 이단계적 파이프라인을 제안한다. 먼저 다중 레이블 분류와 클러스터링을 통해 각 섹션에 맞는 주요 발언을 추출하고, 이를 바탕으로 요약 문장을 생성한다. 종단 간 생성 방식 대비 ROUGE-1 점수를 7점 향상시켰으며, 추출 성능 향상으로 추가 향상이 가능하다.

ABSTRACT

Following each patient visit, physicians must draft detailed clinical summaries called SOAP notes. Moreover, with electronic health records, these notes must be digitized. For all the benefits of this documentation the process remains onerous, contributing to increasing physician burnout. In a parallel development, patients increasingly record audio from their visits (with consent), often through dedicated apps. In this paper, we present the first study to evaluate complete pipelines for leveraging these transcripts to train machine learning model to generate these notes. We first describe a unique dataset of patient visit records, consisting of transcripts, paired SOAP notes, and annotations marking noteworthy utterances that support each summary sentence. We decompose the problem into extractive and abstractive subtasks, exploring a spectrum of approaches according to how much they demand from each component. Our best performing method first (i) extracts noteworthy utterances via multi-label classification assigns them to summary section(s); (ii) clusters noteworthy utterances on a per-section basis; and (iii) generates the summary sentences by conditioning on the corresponding cluster and the subsection of the SOAP sentence to be generated. Compared to an end-to-end approach that generates the full SOAP note from the full conversation, our approach improves by 7 ROUGE-1 points. Oracle experiments indicate that fixing our generative capabilities, improvements in extraction alone could provide (up to) a further 9 ROUGE point gain.

연구 동기 및 목표

• 전자 건강 기록에서 시간 소모가 심한 SOAP 노트 기록으로 인한 의사의 정서 소진 문제를 해결하기 위해.
• 환자가 기록한 방문 녹취록을 활용해 SOAP 노트 자동 생성의 가능성을 탐색하기 위해.
• 노트 생성을 추출적 단계와 개괄적 단계로 분해하는 구조화된 파이프라인을 개발하고 평가하기 위해.
• 특히 발언 추출 성능 향상이 최종 생성 품질에 미치는 영향을 평가하기 위해.

제안 방법

• 각 요약 문장과 관련된 발언을 표시한 레이블이 부여된 전사본, 짝지어진 SOAP 노트를 포함한 고유한 데이터셋을 구축하기 위해.
• 문제를 추출적 및 개괄적 구성 요소로 분해: 먼저 다중 레이블 분류를 통해 주목할 만한 발언을 식별하기 위해.
• 각 SOAP 섹션(예: 주관적, 객관적)에 따라 추출된 발언을 클러스터링하여 의미적으로 관련된 내용을 그룹화하기 위해.
• 해당 클러스터와 섹션 맥락을 기반으로 각 요약 문장을 개괄적으로 생성하기 위해.
• 클러스터링된 발언을 맥락으로 사용하여 문장을 생성하는 조건부 시퀀스 모델을 훈련하기 위해.
• 성능 향상을 평가하기 위해 파이프라인을 종단 간 생성 방식과 비교하기 위해.

실험 결과

연구 질문

• RQ1 발언 추출과 문장 생성을 분리하는 이단계적 파이프라인이 종단 간 생성 방식보다 SOAP 노트 생성 성능을 뛰어나게 할 수 있는가?
• RQ2 발언 추출의 품질이 전체 생성 성능에 얼마나 기여하는가?
• RQ3 생성 모델 품질과는 별개로, 추출 성능 향상만으로도 최종 ROUGE 점수 향상이 어느 정도 가능할 수 있는가?
• RQ4 추출된 발언을 섹션별로 클러스터링하는 것이 섹션 전용 요약에 콘텐츠를 조직화하는 데 얼마나 효과적인가?

주요 결과

• 제안된 파이프라인이 종단 간 생성 방식 대비 ROUGE-1 점수를 7점 향상시켰다.
• 오라클 실험 결과, 생성 모델을 고정한 상태에서 추출 성능 향상으로 최대 9점의 ROUGE 점수 향상이 가능함을 확인했다.
• 주목할 만한 발언에 대한 다중 레이블 분류가 각 SOAP 섹션과 관련된 내용을 효과적으로 식별했다.
• 섹션별로 발언을 클러스터링함으로써 생성된 요약 문장의 통일성과 관련성 향상이 이루어졌다.
• 클러스터링된 발언을 맥락으로 사용할 경우, 개괄적 생성 단계에서 유창하고 맥락에 적절한 문장을 생성할 수 있었다.
• 결과적으로 추출 품질이 핵심적 한계 요소임을 시사하며, 주목할 만한 임상 콘텐츠를 식별하는 데서 향상 여지가 크다는 것이 확인되었다.