[논문 리뷰] Learning Tasks for Multitask Learning: Heterogenous Patient Populations in the ICU

Harini Suresh, Jen J. Gong외 1명|arXiv (Cornell University)|2018. 06. 07.

Machine Learning in Healthcare참고 문헌 17인용 수 9

한 줄 요약

이 논문은 먼저 시퀀스-투-시퀀스 오토인코더를 사용해 ICU 데이터에서 환자 하위집단을 탐지하고, 그 후 각 하위집단을 별개의 작업으로 간주하여 다중작업 학습을 적용하는 이단계 프레임워크를 제안한다. 이 방법은 전반적인 또는 별도의 모델에 비해 다양한 환자 집단에서 입원 사망 예측 성능을 향상시키며, 이질적인 임상 인구집단에서 하위집단 인지 평가의 중요성을 입증한다.

ABSTRACT

Machine learning approaches have been effective in predicting adverse outcomes in different clinical settings. These models are often developed and evaluated on datasets with heterogeneous patient populations. However, good predictive performance on the aggregate population does not imply good performance for specific groups. In this work, we present a two-step framework to 1) learn relevant patient subgroups, and 2) predict an outcome for separate patient populations in a multi-task framework, where each population is a separate task. We demonstrate how to discover relevant groups in an unsupervised way with a sequence-to-sequence autoencoder. We show that using these groups in a multi-task framework leads to better predictive performance of in-hospital mortality both across groups and overall. We also highlight the need for more granular evaluation of performance when dealing with heterogeneous populations.

연구 동기 및 목표

• 이질적인 ICU 인구집단에서 전역 모델을 훈련할 경우 특정 환자 하위집단에서의 예측 성능이 떨어지는 문제를 해결하기 위해.
• 전문가가 정의한 코hort에 의존하지 않고 데이터 기반 방법을 통해 임상적으로 의미 있는 환자 하위집단을 탐지하기 위해.
• 하위집단 간의 공유 지식을 활용하여 다중작업 학습을 통해 예측 성능을 향상시키기 위해.
• 전체 집단의 지표가 특정 집단에서의 성능 저하를 가리킬 수 있기 때문에, 하위집단 간 세분화된 평가가 필수적임을 입증하기 위해.
• 결과 기반 코hort 탐지가 일반적인 비지도 클러스터링에 비해 모델 성능을 더 향상시킬 수 있는지 평가하기 위해.

제안 방법

• 첫 24시간 동안의 환자 생리학적 시계열 데이터에 대해 밀도 높고 저차원의 표현을 학습하기 위해 시퀀스-투-시퀀스 오토인코더를 사용한다.
• 학습된 표현에 비지도 클러스터링(k-means)을 적용하여 구분되는 환자 하위집단을 탐지한다.
• 발견된 각 하위집단을 다중작업 학습 프레임워크 내 별개의 작업으로 간주하고, 각 그룹별로 별도의 예측 헤드를 훈련한다.
• 제안된 비지도 다중작업 모델을 전역 모델(모든 데이터로 훈련) 및 별도의 모델(각 그룹별로 훈련)과 비교한다.
• 평가 지표로 AUC, PPV, 특이도를 사용하여 전체 집단과 각 하위집단에서의 성능을 비교한다.
• 비지도 코hort와 전문가가 정의한 코hort(예: 치료 단위)를 비교하는 분석 실험을 통해 데이터 기반 작업 탐지의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 생리학적 시계열 표현의 비지도 클러스터링이 ICU 데이터에서 임상적으로 의미 있는 환자 하위집단을 탐지할 수 있는가?
• RQ2 이러한 데이터 기반 하위집단을 다중작업 학습 프레임워크의 작업으로 활용할 경우, 전역 모델이나 별도의 모델에 비해 입원 사망 예측 성능이 향상되는가?
• RQ3 다양한 모델 아키텍처를 사용할 경우 성능은 하위집단 간 어떻게 달라지며, 이는 24시간 대비 48시간 예측 윈도우에서 어떻게 다를까?
• RQ4 전체 지표가 특정 집단에서의 성능 격차를 가리킬 수 있기 때문에, 하위집단 간 세분화된 평가가 성능 격차를 탐지하기 위해 필수적인가?
• RQ5 결과 기반 코hort 탐지가 일반적인 비지도 클러스터링에 비해 추가적인 성능 향상을 이끌 수 있는가?

주요 결과

• 24시간 사망 예측에서, 비지도 다중작업 모델은 전체 집단 및 하위집단 지표 모두에서 전역 모델보다 유의미하게 높은 성능을 보였으며, 매크로 수준 평가에서 AUC 및 특이도에 대해 p < 1e-15의 유의미성을 보였다.
• 매크로 수준의 치료 단위 코hort에서 비지도 다중작업 모델은 AUC(0.859 대 0.839)와 PPV(0.187 대 0.170)에서 전역 모델을 능가했으며, 통계적 유의미성(p < 1e-15)을 보였다.
• 48시간 사망 예측에서는 비지도 다중작업 모델이 전역 모델을 유의미하게 뛰어넘지 못했으며, 이는 ICU 체류 둘째 날의 데이터 부족과 누락치로 인한 것으로 보인다.
• 치료 단위 기반 코hort를 사용한 다중작업 모델의 성능은 48시간 예측 윈도우에서 모든 지표에서 전역 모델보다 유의미하게 열 劣했으며, 이는 전문가가 정의한 코hort가 후속 예측 작업에 최적일 수 없음을 시사한다.
• 연구는 전체 성능 지표만 보고할 경우 특정 하위집단에서의 성능 저하가 가려질 수 있음을 강조하며, 하위집단 수준의 평가가 필수적임을 입증한다.
• 결과는 예측 목표에 따라 유도된 결과 기반 코hort 탐지—즉, 예측 타겟을 기반으로 한 탐지—가 일반적인 비지도 클러스터링을 넘어서 추가적인 성능 향상을 이끌 수 있음을 시사한다.