[논문 리뷰] Time Aggregation and Model Interpretation for Deep Multivariate Longitudinal Patient Outcome Forecasting Systems in Chronic Ambulatory Care

Beau Norgeot, Dmytro Lituiev외 2명|arXiv (Cornell University)|2018. 11. 30.

Machine Learning in Healthcare참고 문헌 4인용 수 4

한 줄 요약

이 연구는 시간 집계된 다변량 종단적 EHR 데이터를 사용하여 만성 외래 진료 환경에서 류마티스성 관절염의 질환 활동을 예측하기 위한 딥러닝 프레임워크를 제안한다. 시간 분포 밀집층 이후에 GRU를 적용할 경우 가장 일반화 능력이 뛰어난 모델을 도출할 수 있음을 입증하였으며, 임상적 해석 가능성을 높이기 위해 종단적 순열 중요도 및 혼동도를 도입하여 최근 질환 활동과 스테로이드 사용이 핵심 예측 변수임을 규명하였다.

ABSTRACT

Clinical data for ambulatory care, which accounts for 90% of the nations healthcare spending, is characterized by relatively small sample sizes of longitudinal data, unequal spacing between visits for each patient, with unequal numbers of data points collected across patients. While deep learning has become state-of-the-art for sequence modeling, it is unknown which methods of time aggregation may be best suited for these challenging temporal use cases. Additionally, deep models are often considered uninterpretable by physicians which may prevent the clinical adoption, even of well performing models. We show that time-distributed-dense layers combined with GRUs produce the most generalizable models. Furthermore, we provide a framework for the clinical interpretation of the models.

연구 동기 및 목표

• 불규칙한 진료 간격과 소규모 표본 크기를 가진 종단적 외래 EHR 데이터에서 딥러닝 모델에 최적의 시간 집계 전략을 식별하기 위해.
• 의료진의 AI에 대한 저항을 해소하기 위해 환자 예후 예측에 활용되는 시간 시리즈 딥러닝 모델의 해석 가능성을 확보하기 위해.
• 두 개의 서로 다른 류마티스 전문 클리닉에서 수집한 실제 EHR 데이터를 활용하여 다양한 시간 집계 아키텍처의 예측 성능을 평가하기 위해.
• 종단적 순열 중요도 점수 및 모델이 학습한 환자 표현의 시각화를 통해 임상적 해석 가능성을 제공하기 위해.

제안 방법

• Hyperas를 통한 베이지안 최적화를 활용해 6종의 시간 집계 함수를 비교: 완전 밀집, 시간 분포 밀집(TDD) 이후 밀집, GRU, LSTM, 인과 컨볼루션, 유효 패딩 컨볼루션.
• EHR 데이터를 100일 간격의 윈도우로 집계하여, 각 변수에 대해 윈도우 내에서 가장 최근 값만 선택함으로써 불균형한 진료 간격과 변동하는 데이터 포인트를 처리함.
• 시간 윈도우를 기반으로 순열 중요도 점수를 적용하여 각 입력 변수(예: 약물, 염증 마커 등)가 모델 성능에 기여하는 정도를 정량화함.
• 혼동도를 활용해 모델이 학습한 환자 표현을 시각화하여 다양한 환자 집단 간의 군집과 잠재적 혼란 요인을 식별함.
• 최종 해석을 위한 완전 훈련 모델을 도출하기 위해 유니버시티 클리닉 코hort의 훈련 및 검증 데이터 세트를 통합하여 모델을 훈련함.
• AUC의 95% 신뢰구간을 계산하기 위해 Delong 방법을 적용하여 성능 차이의 통계적 유의성을 평가함.

실험 결과

연구 질문

• RQ1 불규칙한 진료 패턴을 가진 종단적 외래 진료 환경에서 환자 예후를 예측하기 위한 딥러닝 모델에 가장 일반화 능력이 뛰어나고 정확도가 높은 시간 집계 함수는 무엇인가?
• RQ2 딥러닝 모델은 다변량 시간 시리즈 EHR 데이터의 맥락에서 임상의가 이해할 수 있도록 어떻게 해석 가능하게 만들 수 있는가?
• RQ3 다양한 임상 변수(예: 약물, 검사값, 질환 활동 점수 등)가 시간에 따라 모델 예측에 기여하는 상대적 기여도는 어떠한가?
• RQ4 다양한 인구집단 간 모델이 학습한 환자 표현은 어떻게 다를 수 있으며, 이러한 차이는 기저의 임상적 또는 사회적 건강 결정 요인을 어떻게 드러내는가?

주요 결과

• 시간 분포 밀집(TDD)층 이후에 GRU를 적용한 아키텍처가 검증 세트에서 최고의 AUC 0.845(95% CI: [0.753, 0.914])를 기록하여, TDD-LSTM(AUC: 0.838) 및 TDD-GRU(AUC: 0.845)와 비교해도 뛰어난 성능을 보였다.
• 종단적 순열 중요도 점수 분석 결과, 최근 시간 윈도우(특히 가장 최근 윈도우)가 가장 예측력이 높았으며, CDAI 이력과 스테로이드 처방(예: 프레드니손)이 가장 영향력 있는 변수로 나타났다.
• 현재 진료에서 새로운 스테로이드가 추가된 것은 질환 통제 실패를 강력하게 예측하는 요소였으며, 이는 활성 질환의 임상적 대체 지표로 활용될 수 있음을 시사한다.
• 이전 진료에서 질병 수정 항류마티스 약물(DMARD) 전략을 변경하거나 유지한 것은 매우 예측력이 높았으며, 이는 의료진과 환자가 치료 효과를 평가한 결과로 해석될 수 있다.
• 혼동도 분석 결과, 유니버시티 클리닉 코hort에서는 통제된 환자와 통제되지 않은 환자가 혼합된 단일 군집이 관찰되어 자연스러운 전이 영역이 존재함을 시사했으며, Safety Net 클리닉에서는 여러 개의 이러한 군집이 관찰되어 잠재적 혼란 요인이 존재함을 시사했다.
• Safety Net 코hort에서 다수의 근접한 군집이 관찰된 것은 사회적 건강 결정 요인을 반영할 수 있으며, 이 환자 집단은 주로 비백인이고 사적 보험에 가입되어 있지 않은 경향이 있기 때문이다.