[논문 리뷰] Learning to Write Notes in Electronic Health Records

Peter J. Liu|arXiv (Cornell University)|2018. 08. 08.

Machine Learning in Healthcare참고 문헌 18인용 수 12

한 줄 요약

이 논문은 환자의 인구통계학적 정보, 검사 결과, 약물 정보, 이전 기록 등의 다중모달 EHR 데이터를 활용하여 임상 기록의 내용을 예측하는 조건부 언어 모델링 접근법을 제안한다. 이는 대규모 언어 모델이 높은 정확도로 임상적으로 관련성이 있는 기록 텍스트를 효과적으로 생성할 수 있음을 보여주며, 자동완성 및 오류 검출과 같은 AI 기반 문서화 도구의 가능성을 제시한다.

ABSTRACT

Clinicians spend a significant amount of time inputting free-form textual notes into Electronic Health Records (EHR) systems. Much of this documentation work is seen as a burden, reducing time spent with patients and contributing to clinician burnout. With the aspiration of AI-assisted note-writing, we propose a new language modeling task predicting the content of notes conditioned on past data from a patient's medical record, including patient demographics, labs, medications, and past notes. We train generative models using the public, de-identified MIMIC-III dataset and compare generated notes with those in the dataset on multiple measures. We find that much of the content can be predicted, and that many common templates found in notes can be learned. We discuss how such models can be useful in supporting assistive note-writing features such as error-detection and auto-complete.

연구 동기 및 목표

• EHR 시스템 내 임상 문서화의 증가하는 부담을 해결함으로써 임상의의 번아웃을 줄이고 환자와의 상호작용 시간을 늘리는 것.
• 구조적 및 비구조적 EHR 데이터(다양한 형태)를 조건으로 삼아 임상 기록의 내용을 예측하는 새로운 언어 모델링 작업을 개발하는 것.
• 강력한 조건부 언어 모델링을 통해 자동완성 및 오류 검출과 같은 AI 기반 기능을 가능하게 함으로써 EHR의 사용성을 향상시키는 것.
• 정량적 지표와 정성적 분석을 활용해 실제 EHR 데이터에서 언어 모델의 예측 능력을 평가하는 것.
• 일반적인 기록 템플릿과 내용이 역학적 EHR 데이터에서 학습 가능하며, 이는 확장 가능하고 맥락 인식 기능을 갖춘 기록 생성을 가능하게 한다는 것을 입증하는 것.

제안 방법

• 다중모달 맥락 $ c = (R, T, H) $ 를 기반으로 임상 기록의 다음 토큰을 예측하는 조건부 언어 모델을 정의한다. 여기서 $ R $ 은 환자의 EHR 역사를 의미하고, $ T $ 는 기록 유형이며, $ H $ 는 첫 10개 토큰의 힌트이다.
• 인구통계학적 정보, 검사 결과, 약물 정보, 이전 기록 등의 이질적인 EHR 데이터를 임bedding 기법을 사용해 조밀하고 순차적인 맥락 벡터로 표현한다.
• 39,597명의 중환자실 환자와 완전한 EHR 기록 및 임상 기록을 포함한 익명화된 MIMIC-III 데이터셋을 기반으로 자동회귀형 트랜스포머 기반 언어 모델을 훈련한다.
• 모델이 전체 맥락을 기반으로 기록 시퀀스에서 다음 토큰을 예측할 수 있도록 교차 엔트로피 손실을 최적화한다.
• 임상 텍스트에서 흔한 희귀어 및 OOV(Out-of-Vocabulary) 단어를 다루기 위해 서브워드 토크나이제이션(BPE 등)을 통합한다.
• 퍼플렉서티, BLEU, ROUGE, 그리고 생성된 기록의 품질과 자연스러움에 대한 인간 평가와 같은 지표를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 환자의 EHR 역사와 기록 유형만을 사용하여 언어 모델이 임상 기록의 내용을 어느 정도 예측할 수 있는가?
• RQ2 모델은 실제 EHR 데이터에서 공통적인 임상 기록 템플릿과 어휘 패턴을 학습하고 재현할 수 있는가?
• RQ3 생성된 기록은 실제 의사가 작성한 기록과 비교해 유창성, 논리성, 임상적 관련성 측면에서 얼마나 효과적인가?
• RQ4 다중모달 EHR 맥락(구조적 및 비구조적 데이터)이 예측 정확도 향상에 어떤 역할을 하는가?
• RQ5 이러한 모델은 실시간 기록 작성 도구(예: 자동완성, 철자 검사)에 어떻게 실질적으로 활용될 수 있는가?

주요 결과

• 모델은 보류된 임상 기록에서 낮은 퍼플렉서티를 기록하여 EHR 맥락을 활용한 기록 내용 예측 능력이 뛰어나다는 것을 보여준다.
• 모델은 "GCS 15, intubated, transferred to OSH" 와 같은 일반적인 기록 템플릿을 높은 확률로 학습하고 재생산한다.
• "was" 및 "GCS" 와 같은 단어의 상위 5개 다음 토큰 예측 결과에서 임상적으로 관련성이 높은 어휘에 대해 높은 신뢰도를 보이며, 예를 들어 "was" 는 0.42의 확률로 예측되고, "GCS" 는 0.25의 확률로 예측된다.
• 정성적 분석과 인간 평가를 통해 모델은 의미적으로 일관되고 맥락에 적절한 기록 조각을 생성함을 입증한다.
• 기록 유형과 초기 토큰을 포함한 다중모달 맥락의 사용은 단일모달 기반 대비 생성 품질을 크게 향상시킨다.
• 결과적으로 이러한 모델은 실시간 자동완성 및 오류 검출 시스템과 같은 실용적인 EHR 보조 도구의 기초가 될 수 있음을 시사한다.