[논문 리뷰] A Comprehensive Evaluation of Multi-task Learning and Multi-task Pre-training on EHR Time-series Data

Matthew B. A. McDermott, Bret Nestor외 5명|arXiv (Cornell University)|2020. 07. 20.

Machine Learning in Healthcare참고 문헌 58인용 수 10

한 줄 요약

이 논문은 전자건강기록(EHR) 시계열 데이터에서 다중과제학습(MTL)과 다중과제 미사전처리를 평가하며, 일반적으로 MTL에서 관찰되는 부정적 전이에도 불구하고, 다수의 과제에서 미사전처리한 후 단일 과제에서 피지테이닝하는 것이 성능 향상에 상당한 기여를 한다고 제안한다. 특히 소량의 학습 데이터가 존재하는 환경에서 성능 향상이 두드러진다. 이 방법은 저자료 의료 환경에서 모델의 일반화 능력과 내성 강도를 향상시킨다.

ABSTRACT

Multi-task learning (MTL) is a machine learning technique aiming to improve model performance by leveraging information across many tasks. It has been used extensively on various data modalities, including electronic health record (EHR) data. However, despite significant use on EHR data, there has been little systematic investigation of the utility of MTL across the diverse set of possible tasks and training schemes of interest in healthcare. In this work, we examine MTL across a battery of tasks on EHR time-series data. We find that while MTL does suffer from common negative transfer, we can realize significant gains via MTL pre-training combined with single-task fine-tuning. We demonstrate that these gains can be achieved in a task-independent manner and offer not only minor improvements under traditional learning, but also notable gains in a few-shot learning context, thereby suggesting this could be a scalable vehicle to offer improved performance in important healthcare contexts.

연구 동기 및 목표

• EHR 시계열 데이터에서 다양한 임상 과제에 대해 다중과제학습(MTL)의 효과를 체계적으로 평가하는 것.
• 의료 기계학습에서 흔히 발생하는 데이터 부족 문제를 MTL이 완화할 수 있는지 조사하는 것.
• MTL 미사전처리가 소량의 학습 데이터에서의 성능 향상에 기여하고, 인구 집단 간 불균형에 대한 민감도를 감소시킬 수 있는지 평가하는 것.
• MTL이 부정적 전이를 유발하는 조건과 일관된 성능 향상이 이루어지는 조건을 식별하는 것.
• 임상 시계열 모델링에 MTL를 적용하는 데 있어 최선의 실천 방안을 수립하는 것.

제안 방법

• 저자는 N개의 임상 과제에 걸쳐 공유 인코더와 과제별 디코더를 사용하며, 단일과제(ST), 다중과제(MT), 피지테이닝 변형(FTD, FTF) 등 다양한 학습 방식에서 모델을 훈련시켰다.
• 이중 단계 훈련 프로토콜을 구현하였으며, 목표 과제를 제외한 모든 과제에서의 미사전처리 후, 목표 과제에서의 피지테이닝을 수행하였다.
• 실제 시계열 데이터를 사용하여 사망률, 재입원률, 입원 기간 예측, ICD 코드 예측 등 11개의 다양한 EHR 과제에서 모델 성능을 평가하였다.
• 전체 데이터 및 소량의 학습 데이터 설정에서 AUC 및 ACU 지표를 사용하여 성능을 측정하였으며, 학습 데이터 비율을 0.2%에서 56.2%까지 다양하게 설정하였다.
• 선형 및 자기주의 어텐션 아키텍처 두 가지에서 표준 MTL, 단일과제 학습, 미사전처리/피지테이닝 전략 간 성능을 비교 분석하였다.
• 부정적 전이 평가는 주로 상이하거나 희귀한 과제 조합에서의 성능 비교를 통해 수행되었다.

실험 결과

연구 질문

• RQ1 EHR 시계열 데이터에서 기존에 연구된 다양한 임상 과제 간에 부정적 전이가 얼마나 광범위하게 발생하는가?
• RQ2 다중과제학습이 다양한 임상 과제에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ3 다중과제 미사전처리 후 피지테이닝 전략이 소량의 학습 데이터 환경에서 성능 향상에 기여하는가?
• RQ4 다중과제 미사전처리가 다양한 인구 집단 간 불균형에 대한 모델 민감도를 감소시킬 수 있는가?

주요 결과

• 표준 다중과제학습에서 부정적 전이가 일반적이며, 기존의 MTL 전략은 다양한 EHR 과제에서 성능 향상을 일관되게 달성하지 못하는 경우가 많다.
• 다중과제 미사전처리 후 단일과제 피지테이닝 전략은 모든 평가된 과제에서 표준 단일과제 학습 및 다중과제 학습보다 뛰어난 성능을 보였다.
• 미사전처리/피지테이닝 전략은 소량의 학습 데이터 환경에서 뚜렷한 성능 향상을 이끌어내었으며, 학습 데이터 비율이 10%일 경우 최대 5.6 AUC 포인트 향상되었고, 31.6%일 경우 17.8 AUC 포인트 향상되었다.
• 이 방법은 과제에 관계없이 성능 향상을 이끌어내어 저자료 임상 AI 환경에서 널리 적용 가능하다는 것을 시사한다.
• 소량의 학습 데이터에서의 성능 향상에도 불구하고, 다양한 인구 집단 간 불균형에 대한 민감도 감소 효과는 유의미하게 관찰되지 않았다.
• 미사전처리에서 얻는 성능 향상은 선형 및 자기주의 어텐션 아키텍처 모두에서 뚜렷하게 유지되어 이 방법의 일반화 능력을 시사한다.