[논문 리뷰] Deep Ensemble Tensor Factorization for Longitudinal Patient Trajectories Classification

Edward De Brouwer, Jaak Simm외 2명|arXiv (Cornell University)|2018. 11. 26.

Machine Learning in Healthcare참고 문헌 13인용 수 5

한 줄 요약

이 논문은 종단적 환자 궤적의 생성적 표현을 공동으로 학습하고, 순환 신경망을 사용하여 입원 중 사망을 분류하는 딥 앙상블 텐서 분해 모델을 제안한다. 희박하고 불규칙하게 샘플링된 임상 데이터를 텐서로 모델링하고, 베이지안 불확실성에 근거한 생성 모델의 앙상블을 활용함으로써, AUC 0.855를 달성하여 SAPS-II 및 GRU 기반 베이스라인을 능가한다.

ABSTRACT

We present a generative approach to classify scarcely observed longitudinal patient trajectories. The available time series are represented as tensors and factorized using generative deep recurrent neural networks. The learned factors represent the patient data in a compact way and can then be used in a downstream classification task. For more robustness and accuracy in the predictions, we used an ensemble of those deep generative models to mimic Bayesian posterior sampling. We illustrate the performance of our architecture on an intensive-care case study of in-hospital mortality prediction with 96 longitudinal measurement types measured across the first 48-hour from admission. Our combination of generative and ensemble strategies achieves an AUC of over 0.85, and outperforms the SAPS-II mortality score and GRU baselines.

연구 동기 및 목표

• 희박하고 불규칙하게 샘플링된 종단적 임상 궤적에서 환자를 분류하는 데 도전하는 것.
• 결측 관측치를 자연스럽게 다루면서 종단적 환자 데이터의 복잡한 시간적 의존성을 모델링하는 것.
• 앙상블 학습을 통해 베이지안 사후 표본 추출을 근사화하여 예측의 견고성과 정확도를 향상시키는 것.
• 정적 환자 공변량과 다변량 시계열 측정치를 통합된 텐서 기반 표현으로 통합하는 것.
• 기존 임상 중증도 점수(예: SAPS-II) 및 분류 전용 딥 러닝 베이스라인을 능가하는 사망 예측 성능을 확보하는 것.

제안 방법

• 환자 수 N, 측정 유형 수 M, 시간 버킷 수 T로 구성된 3차원 텐서 N×M×T로 종단적 환자 데이터를 표현한다.
• 각 환자의 잠재적 건강 상태를 시간에 따라 모델링하기 위해 딥 생성 RNN(GRU 기반)을 사용하며, 측정 유형별 함수를 통해 관측치를 생성한다.
• 하이퍼파ram터 γ로 가중치가 부여된 복합 손실(재구성 오차(MSE) 및 분류 교차 엔트로피)을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 사전 분포에서 하이퍼파ram터를 샘플링하여 200개의 모델을 훈련하고, 검증 성능 기반으로 상위 20개를 선택하는 앙상블 전략을 적용한다.
• 상위 성능 모델들의 예측을 평균화하여 베이지안 사후 예측 분포를 근사하고 견고성을 향상시킨다.
• 정적 공변량(예: 연령, 진단)을 사용해 잠재 상태를 초기화하여 환자별 맞춤형 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박하고 불규칙하게 샘플링된 종단적 환자 궤적을 낮은 차원의 잠재 공간에 효과적으로 표현할 수 있는가?
• RQ2 궤적 재구성과 분류를 함께 훈련하는 것이 분류 전용 모델보다 성능을 향상시키는가?
• RQ3 생성 모델의 앙상블 학습이 베이지안 사후 표본 추출을 근사하고 임상 궤적 분류의 예측 견고성을 향상시키는가?
• RQ4 제안된 방법은 입원 중 사망 예측에서 기존의 임상 중증도 점수(SAPS-II 등)보다 우수한가?
• RQ5 이러한 생성 모델링 설정에서 앙상블 크기가 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 입원 중 사망 예측에서 AUC 0.855를 달성하여 SAPS-II 점수 및 GRU 보정 기반 베이스라인을 뚜렷이 능가한다.
• 앙상블 전략을 통해 AUC가 0.842에서 0.855로 향상되어 불확실성 인식 모델 평균화의 가치를 입증한다.
• 성능 향상을 위한 작은 앙상블(20개 모델)만으로도 충분한 성과를 달성하여 견고한 예측 학습의 효율성을 보여준다.
• 생성 모델링 접근법은 명시적 보간 없이도 결측 데이터와 불규칙 샘플링을 효과적으로 처리한다.
• 단지 5.9%의 텐서 메모리 점유율로도 환자별 잠재 궤적을 학습하여 후속 분류에 유용한 정보를 제공한다.
• 시간적 동역학과 정적 공변량의 통합은 모델 일반화 및 예측 정확도 향상에 기여한다.