[논문 리뷰] Continual learning of longitudinal health records

J. Armstrong, David W. Clifton|arXiv (Cornell University)|2021. 12. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 임상 시계열 환경에서 치명적 망각을 해결하기 위해 연속 학습(CL) 방법을 종단적 중환자 집중 치료(ICU) 환자 데이터에서 평가한다. 재현 기반 방법이 다양한 도메인 이동 상황에서 장기적인 안정성에서 정규화 기법보다 뛰어난 성능을 보이며, 특히 순차적인 작업 수가 많을 경우에 두드러진다.

ABSTRACT

Continual learning denotes machine learning methods which can adapt to new environments while retaining and reusing knowledge gained from past experiences. Such methods address two issues encountered by models in non-stationary environments: ungeneralisability to new data, and the catastrophic forgetting of previous knowledge when retrained. This is a pervasive problem in clinical settings where patient data exhibits covariate shift not only between populations, but also continuously over time. However, while continual learning methods have seen nascent success in the imaging domain, they have been little applied to the multi-variate sequential data characteristic of critical care patient recordings. Here we evaluate a variety of continual learning methods on longitudinal ICU data in a series of representative healthcare scenarios. We find that while several methods mitigate short-term forgetting, domain shift remains a challenging problem over large series of tasks, with only replay based methods achieving stable long-term performance. Code for reproducing all experiments can be found at https://github.com/iacobo/continual

연구 동기 및 목표

• 지속적으로 변화하는 종단적 건강 기록을 기반으로 학습된 임상 기계학습 모델에서 치명적 망각을 해결하기 위해.
• 실제 ICU 시계열 데이터에서 다양한 연속 학습 전략—특히 정규화 및 재현 기법—의 성능을 평가하기 위해.
• 다양한 다변량 순차적 전자건강기록(EHR) 데이터에서 시간, 지리적 요소, 환자 인구통계적 특성에 따른 도메인 이동을 조사하기 위해.
• 데이터 기밀 보호 및 제한된 스토리지와 같은 임상 제약 조건 하에서 CL 방법의 실현 가능성과 강건성을 평가하기 위해.
• 실제 데이터셋(eICU-CRD 및 MIMIC-III)을 사용하여 중환자 치료 분야에서 연속 학습에 대한 종합적 벤치마크 제공하기 위해.

제안 방법

• 순차적 ICU 데이터 배치에서 다양한 연속 학습 전략—예: 탄성 가중치 통합(EWC), 지식 증착(LwF), 기울기 기반 방법(GEM, A-GEM)—을 평가하기 위해.
• 모델이 서로 다른 병원, 시간대, 환자 인구통계적 특성을 반영하는 연속적인 데이터 배치에서 학습되는 임계 태스크 설정을 사용하기 위해.
• 모든 방법 간의 공정한 비교를 위해 각 태스크에서 조기 정지 기법을 적용하여 수렴 보장하기 위해.
• 고정된 메모리 버퍼를 사용해 과거 예시를 저장하는 재현 기반 방법을 구현하고, 정규화 전용 방법과의 성능 비교를 수행하기 위해.
• 주요 평가 지표로 균형 정확도를 사용하고, 통계적 신뢰성을 평가하기 위해 부트스트랩 95% 신뢰구간 적용하기 위해.
• 다양한 도메인 이동 시나리오에서 실험 수행: 연령, 병동, 인종(광범위), 병원, 시간(계절/연간)

실험 결과

연구 질문

• RQ1 증가하는 도메인 이동 상황에서, 정규화 기반 연속 학습 방법이 재현 기반 방법에 비해 종단적 ICU 시계열 데이터에서 어떻게 성능을 내는가?
• RQ2 순차적 비정상적인 임상 데이터에서 학습할 경우, 연속 학습 전략이 치명적 망각을 얼마나 효과적으로 완화하는가?
• RQ3 실제 임상 환경에서 대규모 순차적 태스크(예: 10개 이상의 병원) 상황에서도 연속 학습 방법이 안정적인 성능을 유지할 수 있는가?
• RQ4 다양한 모델 아키텍처(예: 트랜스포머, RNN)가 다변량 시계열 건강 데이터에서 연속 학습 전략과 어떻게 상호작용하는가?
• RQ5 데이터 기밀 보호 제약 조건이 임상 연속 학습에서 재현 기반 방법의 적용 가능성에 어떤 영향을 미치는가?

주요 결과

• LwF와 같은 정규화 방법은 짧은 도메인 이동 시퀀스(예: 연령, 병동, 광범위한 인종)에서는 뛰어난 성능를 보였지만, 작업 수가 증가함에 따라 성능 저하가 심각하게 발생했다.
• 병원 도메인 이동 시나리오에서 $ n \geq 5 $ 태스크일 경우, 정규화 방법은 단순 재학습보다 성능이 떨어지지 않아 치명적 망각 방지에 실패한 것으로 나타났다.
• 재현 기반 방법, 특히 고정된 메모리 버퍼를 사용한 명시적 재현 방법이 모든 도메인 이동 시나리오에서 가장 높은 성능를 기록했으며, 대규모 작업 수 상황에서도 안정적인 성능 유지했다.
• A-GEM과 GEM는 병원 간 이질성 증가 상황에서도 상대적으로 안정적인 성능를 보였지만, 정규화 방법은 초기 태스크 분포에 과적합되면서 높은 변동성을 보였다.
• $ n \geq 5 $일 경우, 누적 상한선(모든 데이터를 한 번에 학습) 성능에 비해 어떤 방법도 비교할 만한 성능를 달성하지 못해, 임상 환경에서 장기적 연속 학습의 과제를 확인했다.
• 재학습 방법은 메모리 용량이 클수록 성능 향상을 보였으며, 이는 EHR 데이터에 대한 연속 학습에서 스토리지 크기가 성능 안정성에 직접적인 영향을 미친다는 것을 입증했다.