[논문 리뷰] Natural Language Generation for Electronic Health Records

Scott Lee|arXiv (Cornell University)|2018. 06. 01.

Topic Modeling참고 문헌 11인용 수 23

한 줄 요약

이 논문은 연령, 성별, 진단 등의 구조화된 EHR 변수에서 전자 건강 기록(EHR)의 실제적인 합성 주소진술을 생성하기 위해 인코더-디코더 딥러닝 모델을 제안한다. 실제 데이터에서 엔드 투 엔드로 훈련된 이 모델은 역학적 패턴을 유지하고 희귀한 약어와 철자 실수를 피하며, 본질적으로 개인정보가 제거된 텍스트를 생성하여 안전한 데이터 공유와 GAN을 활용한 합성 EHR 생성에 활용 가능하다.

ABSTRACT

A variety of methods existing for generating synthetic electronic health records (EHRs), but they are not capable of generating unstructured text, like emergency department (ED) chief complaints, history of present illness or progress notes. Here, we use the encoder-decoder model, a deep learning algorithm that features in many contemporary machine translation systems, to generate synthetic chief complaints from discrete variables in EHRs, like age group, gender, and discharge diagnosis. After being trained end-to-end on authentic records, the model can generate realistic chief complaint text that preserves much of the epidemiological information in the original data. As a side effect of the model's optimization goal, these synthetic chief complaints are also free of relatively uncommon abbreviation and misspellings, and they include none of the personally-identifiable information (PII) that was in the training data, suggesting it may be used to support the de-identification of text in EHRs. When combined with algorithms like generative adversarial networks (GANs), our model could be used to generate fully-synthetic EHRs, facilitating data sharing between healthcare providers and researchers and improving our ability to develop machine learning methods tailored to the information in healthcare data.

연구 동기 및 목표

• 기존의 EHR 합성 방법이 자유형 임상 텍스트(예: 주소진술)를 생성할 수 없는 격차를 해결하기 위해.
• 이산적인 EHR 변수에서 실제적이고 임상적으로 타당한 자유형 노트를 생성할 수 있는 자연어 생성 모델을 개발하기 위해.
• 생성된 텍스트가 개인식별정보(PII)와 철자 실수, 희귀 약어와 같은 일반적인 오류가 없도록 보장하기 위해.
• 생성적 적대망(GANs)과 결합할 경우 완전히 합성된 EHR 생성이 가능하도록 하기 위해.
• 고정밀도의 합성 임상 서술문을 생성함으로써 데이터 공유와 프라이버시 보호 연구를 지원하기 위해.

제안 방법

• 모델은 신경 기계 번역에서 흔히 사용되는 인코더-디코더 아키텍처를 사용하여 구조화된 EHR 기능을 자연어로 매핑한다.
• 인코더는 연령대, 성별, 퇴원 진단과 같은 이산적인 EHR 변수를 조밀한 맥락적 표현으로 처리한다.
• 디코더는 인코딩된 표현에 조건을 두고 단어 단위로 시퀀스를 생성한다.
• 모델은 최대우도추정을 사용하여 진짜 EHR 데이터에서 엔드 투 엔드로 훈련되어 유창성과 관련성 최적화를 위해 최적화된다.
• 훈련 과정에서 최적화 목표로 인해 희귀한 약어나 철자 실수를 피하는 것이 암묵적으로 학습된다.
• 모델의 아키텍처는 명시적인 개인정보 제거 단계 없이도 PII가 없는 텍스트를 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 구조화된 EHR 데이터에서 실제적이고 임상적으로 타당한 주소진술을 생성할 수 있는가?
• RQ2 모델이 생성된 텍스트에서 진단 및 인구통계학적 변수의 역학적 분포를 유지하는가?
• RQ3 모델이 개인식별정보(PII)와 일반적인 언어 오류가 없는 텍스트를 생성할 수 있는가?
• RQ4 이 모델이 완전히 합성된 EHR를 생성하기 위한 파이프라인에 얼마나 잘 통합될 수 있는가?
• RQ5 모델의 출력이 실제 EHR 텍스트와 비교할 때 언어적 품질과 임상 타당성 측면에서 어떻게 다른가?

주요 결과

• 모델은 인간 평가자에 의해 언어적으로 자연스럽고 임상적으로 타당한 합성 주소진술을 성공적으로 생성하였다.
• 생성된 텍스트는 훈련 데이터에 존재하는 진단 및 인구통계학적 변수의 역학적 분포를 유지하였다.
• 모델은 희귀한 약어와 철자 실수 없이 텍스트를 생성하여 원시 EHR 텍스트에 비해 향상된 언어 품질을 보였다.
• 모델은 본질적으로 개인정보가 제거된 텍스트를 생성하였으며, 훈련 데이터에서 유래한 개인식별정보(PII)는 출력에 나타나지 않았다.
• 모델의 아키텍처는 GAN 기반 프레임워크와 호환되어 향후 완전히 합성된 EHR 생성이 가능하다.
• 이 접근법은 안전한 데이터 공유와 임상 기계학습 모델 개발 향상에 잠재력을 보였다.