[논문 리뷰] Forecasting Individualized Disease Trajectories using Interpretable Deep Learning

Ahmed M. Alaa, Mihaela van der Schaar|arXiv (Cornell University)|2018. 10. 24.

Machine Learning in Healthcare참고 문헌 23인용 수 10

한 줄 요약

이 논문은 예측 정확도가 높은 순환 신경망의 특성과 상태공간 모델의 임상적 해석 가능성이라는 두 가지 장점을 결합한 깊이 있는 확률적 프레임워크인 Phased Attentive State Space (PASS) 모델을 소개한다. 주어진 임상 이벤트의 영향을 향후 결과에 미치는 영향을 해석할 수 있도록, 기억을 갖는 비마르코프 상태 전이를 모델링하기 위해 어텐션 메커니즘을 사용하고, 비정규적인 의료 데이터를 연속 시간으로 처리하기 위해 프레이즈드 LSTMs를 활용함으로써 PASS는 개인 맞춤형 질환 진행 예측에서 뛰어난 성능을 달성한다. 동시에 임상의가 과거 임상 이벤트가 향후 결과에 미치는 영향을 이해할 수 있도록 한다.

ABSTRACT

Disease progression models are instrumental in predicting individual-level health trajectories and understanding disease dynamics. Existing models are capable of providing either accurate predictions of patients prognoses or clinically interpretable representations of disease pathophysiology, but not both. In this paper, we develop the phased attentive state space (PASS) model of disease progression, a deep probabilistic model that captures complex representations for disease progression while maintaining clinical interpretability. Unlike Markovian state space models which assume memoryless dynamics, PASS uses an attention mechanism to induce "memoryful" state transitions, whereby repeatedly updated attention weights are used to focus on past state realizations that best predict future states. This gives rise to complex, non-stationary state dynamics that remain interpretable through the generated attention weights, which designate the relationships between the realized state variables for individual patients. PASS uses phased LSTM units (with time gates controlled by parametrized oscillations) to generate the attention weights in continuous time, which enables handling irregularly-sampled and potentially missing medical observations. Experiments on data from a realworld cohort of patients show that PASS successfully balances the tradeoff between accuracy and interpretability: it demonstrates superior predictive accuracy and learns insightful individual-level representations of disease progression.

연구 동기 및 목표

• 질병 진행 모델링에서 오랫동안 지속된 예측 정확도와 임상적 해석 가능성 사이의 상충 관계를 해결하기 위해.
• 실제 임상적 변동성을 반영하는 복잡한 비마르코프 상태 역학을 개인 환자의 진행 경로에서 모델링하기 위해.
• 과거 치료, 공존 질환, 생물학적 마커가 향후 질병 단계에 미치는 영향을 어텐션 가중치를 통해 임상의가 이해할 수 있도록 가능하게 하기 위해.
• 연속 시간에서 비정규적으로 샘플링된 관측치와 잠재적인 결측치를 처리할 수 있는 프레임워크를 개발하기 위해.
• 높은 예측 성능를 유지하면서도 질병 진행 과정을 투명하고 임상적으로 의미 있는 방식으로 표현할 수 있도록 균형을 이루기 위해.

제안 방법

• PASS 모델은 별도의 발화 및 전이 분포를 갖는 깊이 있는 확률적 상태공간 아키텍처를 사용한다.
• 기존의 마르코프 상태 전이를 대체하여, 미래 상태에 대한 예측 관련성을 기반으로 과거 상태에 대해 동적으로 가중치를 설정하는 어텐션 메커니즘을 도입한다.
• 어텐션 가중치는 시간 게이트를 파arameterized 진동에 의해 제어하는 프레이즈드 LSTM 네트워크에 의해 생성되며, 이는 연속 시간 역학을 모델링한다.
• 모델은 향후 상태 확률을 과거 상태 전이의 가중치 합으로 계산하며, 이 가중치는 이전 상태의 영향을 반영한다.
• 어텐션 메커니즘 덕분에 모델은 향후 진행 경로에 영향을 미치는 임상적으로 관련성이 높은 과거 사건(예: 약물 사용)에 집중할 수 있다.
• 이 프레임워크는 실제 EHR 데이터에서 종합적인 정적 특성, 치료, 공존 질환, 종단적 생물학적 마커를 포함하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 개인 맞춤형 질환 진행 예측에서 동시에 높은 예측 정확도와 임상적 해석 가능성을 달성할 수 있는가?
• RQ2 어떻게 어텐션 메커니즘이 질병 진행에서 비마르코프이자 기억을 갖는 상태 전이를 모델링할 수 있는가?
• RQ3 딥 러닝 모델의 어텐션 가중치가 환자별 질환 진행의 주요 원인을 임상적으로 의미 있는 통찰으로 제공할 수 있는 정도는 어느 정도인가?
• RQ4 모델은 실제 EHR 데이터에서 비정규적으로 샘플링된 관측치와 잠재적인 결측치를 어떻게 처리하는가?
• RQ5 제안된 모델이 표준 RNN과 마르코프 HMM보다 예측 정확도와 해석 가능성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• PASS는 만성 질환 진행에 대한 실제 EHR 데이터에서 표준 RNN과 마르코프 HMM보다 뛰어난 예측 정확도를 달성한다.
• PASS가 생성한 어텐션 가중치는 임상적으로 해석 가능한 통찰을 제공하며, 예를 들어 ACE 억제제와 같은 조기 치료가 질병 단계 진행을 지연시키는 영향을 식별할 수 있다.
• 모델은 동일한 현재 질병 단계를 가진 환자들 간의 과거 역사를 기반으로 한 차이(예: 치료 노출의 차이)를 효과적으로 구분할 수 있다.
• PASS는 마르코프 모델가 기억이 없는 가정으로 인해 표현하지 못하는 비정상적이고 복잡한 질환 진행 역학을 포착할 수 있다.
• 프레이즈드 LSTM 구성 요소는 비정규적으로 샘플링된 관측치와 결측치를 효과적으로 모델링하여 실제 데이터 노이즈에 대한 강건성을 향상시킨다.
• 임상의는 주로 환자의 예측된 향후 질병 단계에 영향을 미친 과거 임상 이벤트를 가시적으로 확인할 수 있도록 어텐션 가중치를 검토할 수 있다.