[논문 리뷰] PromptEHR: Conditional Electronic Healthcare Records Generation with Prompt Learning

Zifeng Wang, Jimeng Sun|arXiv (Cornell University)|2022. 10. 11.

Topic Modeling인용 수 11

한 줄 요약

PromptEHR는 암시적 학습을 통해 성별, 연령 등의 인구통계학적 및 임상적 특성에 따라 조건화된 텍스트 기반 언어 모델 기반 프레임워크를 제안한다. 이는 현실적이고 다중 모odal의 종단적 전자건강기록(EHR)을 생성하기 위해 설계되었으며, 상태의 기준 성능을 달성한다. 기준선 대비 종단적 보간 퍼플렉서티는 53.1% 감소하고, 다중 모달 간 퍼플렉서티는 45.3% 감소하였다. 또한 멤버십 및 속성 유추 공격에 대해 강력한 개인정보 보호 기능을 보여주었다.

ABSTRACT

Accessing longitudinal multimodal Electronic Healthcare Records (EHRs) is challenging due to privacy concerns, which hinders the use of ML for healthcare applications. Synthetic EHRs generation bypasses the need to share sensitive real patient records. However, existing methods generate single-modal EHRs by unconditional generation or by longitudinal inference, which falls short of low flexibility and makes unrealistic EHRs. In this work, we propose to formulate EHRs generation as a text-to-text translation task by language models (LMs), which suffices to highly flexible event imputation during generation. We also design prompt learning to control the generation conditioned by numerical and categorical demographic features. We evaluate synthetic EHRs quality by two perplexity measures accounting for their longitudinal pattern (longitudinal imputation perplexity, lpl) and the connections cross modalities (cross-modality imputation perplexity, mpl). Moreover, we utilize two adversaries: membership and attribute inference attacks for privacy-preserving evaluation. Experiments on MIMIC-III data demonstrate the superiority of our methods on realistic EHRs generation (53.1\% decrease of lpl and 45.3\% decrease of mpl on average compared to the best baselines) with low privacy risks. Software is available at https://github.com/RyanWangZf/PromptEHR.

연구 동기 및 목표

• 의료 머신러닝 연구에서 개인정보 위험과 데이터 접근 제한으로 인해 실제 EHR를 공유하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 진단, 약물, 절차 및 환자 인구통계학적 특성 간의 복잡한 시간적 및 다중 모달 간 관계를 반영하는 고해상도의 종단적 다중 모달 EHR를 생성하기 위해.
• 환자의 인구통계학적 특성과 이전 임상 이벤트를 조건으로 삼아 개인화 및 유용성을 향상시킬 수 있는 탄력적인 조건화된 EHR 생성을 가능하게 하기 위해.
• 생성 품질뿐만 아니라 멤버십 및 속성 유추 공격을 통한 개인정보 위험 평가를 포함하여 합성 EHR를 평가하기 위해.
• 충분한 수의 합성 샘플이 함께 사용될 경우 실제 데이터를 보완하고, 심지어 일부 실제 데이터만으로 학습된 모델보다도 성능을 뛰어넘을 수 있도록 합성 EHR가 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 언어 모델(T5, BART 등)을 사용하여 EHR 생성을 텍스트-텍스트 번역 작업으로 재구성하며, 각 방문을 특수 마커가 포함된 이벤트 토큰 시퀀스로 간주한다.
• 특수 토큰(<v>, </v>를 방문, <dx>, </dx>를 진단 등으로 사용하여 종단적 EHR를 토큰화된 시퀀스로 변환함으로써 시간적 및 구조적 순서를 유지한다.
• 인구통계학적 특성(연령, 성별 등)을 전용 특성 추출기로 임베딩하고 입력 토큰 임베딩에 통합하여 생성을 조건화하는 암시 학습 메커니즘을 설계한다.
• 기존 방문의 맥락과 조건화된 암시 프롬프트를 유지하면서 순차적이고 자동회귀적인 이벤트 생성을 가능하게 하기 위해 인과 언어 모델링 손실을 사용하여 모델을 훈련한다.
• 사전 훈련된 언어 모델을 동결한 상태에서 암시 펌웨어를 통합하여 일반화 능력을 유지하면서도 효율적인 미세조정을 가능하게 한다.
• 이중 단계 평가 파이프라인을 사용한다: (1) 품질 평가를 위한 퍼플렉서티 기반 지표(종단적 및 다중 모달 보간 퍼플렉서티), (2) 개인정보 보호 평가를 위한 멤버십 및 속성 유추 공격.

실험 결과

연구 질문

• RQ1 언어 모델 기반 접근 방식이 임상 이벤트 간의 복잡한 시간적 및 다중 모달 간 의존성을 유지하면서 현실적이고 다중 모달의 종단적 EHR를 생성할 수 있는가?
• RQ2 환자의 인구통계학적 특성과 이전 임상 이벤트를 기반으로 한 탄력적인 조건화된 EHR 생성에 있어 암시 학습은 얼마나 효과적인가?
• RQ3 PromptEHR가 생성한 합성 EHR는 종단적 머신러닝 작업에서 실제 EHR의 품질과 얼마나 유사한가?
• RQ4 멤버십 및 속성 유추 공격에 대해 합성 EHR는 얼마나 강건한가? 이는 개인정보 보호 잠재력의 정도를 나타낸다.
• RQ5 합성 EHR는 실제 데이터를 효과적으로 보완하여, 일부 실제 데이터만으로 학습된 모델보다도 성능을 뛰어넘을 수 있는가?

주요 결과

• PromptEHR는 최고의 기존 기준선 대비 종단적 보간 퍼플렉서티(lpl)를 평균 53.1% 감소시켜 시간적 이벤트 시퀀스의 모델링 능력이 뛰어남을 시사한다.
• PromptEHR는 다중 모달 간 보간 퍼플렉서티(mpl)를 평균 45.3% 감소시켜 진단과 검사 결과 등 다양한 EHR 모달 간의 관계를 더 잘 포착함을 보여준다.
• 50,000개의 합성 기록과 30,000개의 실제 기록을 함께 사용할 경우, 전체 40,000개의 실제 기록으로만 학습된 모델보다 성능이 뛰어난 LSTM 기반 분류 작업에서 PromptEHR가 생성한 합성 EHR가 실제 EHR와 유사하거나 그 이상의 성능을 기록한다.
• 멤버십 유추 및 속성 유추 공격에 대해 모델이 강건함을 입증하여 개인정보 위험 수준이 낮음을 시사하지만, 이론적 보장은 아직 개방된 과제로 남아 있다.
• 저자료 환경에서 PromptEHR는 오직 5,000개의 실제 기록으로만 훈련되어도 기준선 LSTM+MLP 모델을 능가함을 보여주며, 저자원 환경에서의 강력한 일반화 능력과 적합성을 입증한다.
• 완성 기반 조건화 생성(예: 진단 및 검사 결과 이후 누락된 절차 생성)은 PromptEHR에서 유일하게 지원되며, 다양한 유형의 프롬프트를 활용한 탄력적인 프롬프팅을 통해 현실적인 EHR 합성 구현이 가능하다.