[논문 리뷰] BEHRT: Transformer for Electronic Health Records

Yikuan Li, Shishir Rao외 6명|arXiv (Cornell University)|2019. 07. 22.

Machine Learning in Healthcare참고 문헌 28인용 수 16

한 줄 요약

BEHRT는 이질적인 EHR 개념의 시간적 시퀀스를 활용하여 다중 작업 질병 예측 및 개인화된 질병 전행 맵핑을 가능하게 하는 Transformer 기반 딥러닝 모델이다. 160만 명의 환자로 훈련된 BEHRT는 301개 질환에 대해 최신 기술 모델 대비 평균 정밀도에서 8.0–10.8%의 절대적 향상을 달성한다.

ABSTRACT

Today, despite decades of developments in medicine and the growing interest in precision healthcare, vast majority of diagnoses happen once patients begin to show noticeable signs of illness. Early indication and detection of diseases, however, can provide patients and carers with the chance of early intervention, better disease management, and efficient allocation of healthcare resources. The latest developments in machine learning (more specifically, deep learning) provides a great opportunity to address this unmet need. In this study, we introduce BEHRT: A deep neural sequence transduction model for EHR (electronic health records), capable of multitask prediction and disease trajectory mapping. When trained and evaluated on the data from nearly 1.6 million individuals, BEHRT shows a striking absolute improvement of 8.0-10.8%, in terms of Average Precision Score, compared to the existing state-of-the-art deep EHR models (in terms of average precision, when predicting for the onset of 301 conditions). In addition to its superior prediction power, BEHRT provides a personalised view of disease trajectories through its attention mechanism; its flexible architecture enables it to incorporate multiple heterogeneous concepts (e.g., diagnosis, medication, measurements, and more) to improve the accuracy of its predictions; and its (pre-)training results in disease and patient representations that can help us get a step closer to interpretable predictions.

연구 동기 및 목표

• EHR 데이터로부터 미래 질병을 정확하게 다중 레이블 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 과거와 미래 질환 간의 맥락적 관계를 드러내기 위해 주의 메커니즘을 사용한 개인화된 질병 전행 맵핑을 가능하게 하는 것.
• 진단, 약물, 검사, 인구통계학적 특성 등의 다양한 EHR 모odalities를 통합할 수 있는 유연하고 사전 훈련된 아키텍처를 만드는 것.
• 학습된 질병 임베딩과 주의 시각화를 통해 예측의 해석 가능성을 향상시키는 것.
• 원시 또는 최소로 처리된 EHR 시퀀스에서 직접 표현을 학습함으로써 수동적 특징 공학의 의존도를 줄이는 것.

제안 방법

• BEHRT는 순차적 EHR 데이터를 모델링하기 위해 Transformer 인코더 아키텍처를 사용하며, 각 임상 이벤트를 시퀀스 내 토큰으로 간주한다.
• 시간적 및 맥락적 정보를 인코딩하기 위해 질병(ICC-10 코드), 연령, 방문 단계(예: 치료의 초기/후기), 방문 내 위치를 포함한 네 가지 핵심 임베딩을 사용한다.
• 모델은 대규모 EHR 데이터셋(CPRD)에서 마스크된 언어 모델링을 사용해 사전 훈련하여 질병과 환자 전행의 표현을 학습한다.
• 하류의 다중 레이블 질병 예측 작업을 위해 피니튜닝을 적용함으로써 최소한의 작업별 적응으로도 전이 학습이 가능하다.
• 주의 메커니즘을 통해 영향력 있는 과거 이벤트와 그들이 미래 질병 예측에 미치는 맥락적 영향을 식별한다.
• 입력 임베딩 공간에 벡터를 덧셈하는 방식으로 새로운 EHR 모달리티(예: 약물, 검사 결과)의 간편한 통합이 가능하다.

실험 결과

연구 질문

• RQ1 사전 훈련된 Transformer 모델이 기존의 딥러닝 EHR 모델 대비 다중 레이블 미래 질병 예측에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 BEHRT는 이질적인 EHR 데이터에 주의 메커니즘을 적용하여 복잡한 비선형 질병 전행을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 학습된 질병 임베딩과 주의 가중치가 예측의 해석 가능성에 얼마나 기여하는가?
• RQ4 BEHRT는 최소한의 아키텍처 변경으로 다양한 임상 조건에 일반화할 수 있는가?
• RQ5 시간적 및 맥락적 특징(예: 연령, 방문 순서)을 통합함으로써 예측 성능가 향상되는가?

주요 결과

• BEHRT는 향후 6개월 내 질병 발병을 예측할 때, 최신 기술 모델 대비 301개 질환에 걸쳐 평균 정밀도에서 8.0–10.8%의 절대적 향상을 달성한다.
• 모델의 주의 메커니즘은 과거와 미래 진단 간의 맥락적 관계를 드러내어 질병 진행에 대한 해석 가능한 통찰을 제공한다.
• 대규모 EHR 코퍼스에서의 사전 훈련을 통해 BEHRT는 질병과 환자 전행의 의미 있는 표현을 학습할 수 있었고, 이는 하류 예측 정확도 향상에 기여했다.
• 모델의 유연한 아키텍처는 약물, 검사 결과 등의 추가 EHR 모달리티를 최소한의 아키텍처 변경으로도 원활하게 통합할 수 있다.
• BEHRT가 학습한 질병 임베딩은 공존관계를 넘어서 대규모 환자 집단 내 공통 전행을 반영한 복잡한 관계를 포착한다.
• 주의 가중치의 시각화를 통해 연구자들은 질병 맥락 패턴을 탐색하고 분석할 수 있으며, 임상 연구에서 가설 생성을 지원한다.