[논문 리뷰] Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets

Mike A. Merrill, Tim Althoff|arXiv (Cornell University)|2022. 05. 26.

Data-Driven Disease Surveillance인용 수 5

한 줄 요약

이 논문은 모바일 헬스 센싱에서 다변량 시계열 분류를 위한 자기지도 사전학습 및 전이학습 프레임워크를 제안한다. CNN-Transformer 아키텍처를 사용하여 장거리 의존성과 누락 데이터 패턴을 모델링하며, 기준 모델 대비 최대 0.15 AUC 향상을 달성하고, 0.68 ROC AUC로 제로샷 COVID-19 예측을 가능하게 하여 신종 전염병에 대한 이식 가능한 행동 표현을 입증한다.

ABSTRACT

Detailed mobile sensing data from phones, watches, and fitness trackers offer an unparalleled opportunity to quantify and act upon previously unmeasurable behavioral changes in order to improve individual health and accelerate responses to emerging diseases. Unlike in natural language processing and computer vision, deep representation learning has yet to broadly impact this domain, in which the vast majority of research and clinical applications still rely on manually defined features and boosted tree models or even forgo predictive modeling altogether due to insufficient accuracy. This is due to unique challenges in the behavioral health domain, including very small datasets (~10^1 participants), which frequently contain missing data, consist of long time series with critical long-range dependencies (length>10^4), and extreme class imbalances (>10^3:1). Here, we introduce a neural architecture for multivariate time series classification designed to address these unique domain challenges. Our proposed behavioral representation learning approach combines novel tasks for self-supervised pretraining and transfer learning to address data scarcity, and captures long-range dependencies across long-history time series through transformer self-attention following convolutional neural network-based dimensionality reduction. We propose an evaluation framework aimed at reflecting expected real-world performance in plausible deployment scenarios. Concretely, we demonstrate (1) performance improvements over baselines of up to 0.15 ROC AUC across five prediction tasks, (2) transfer learning-induced performance improvements of 16% PR AUC in small data scenarios, and (3) the potential of transfer learning in novel disease scenarios through an exploratory case study of zero-shot COVID-19 prediction in an independent data set. Finally, we discuss potential implications for medical surveillance testing.

연구 동기 및 목표

• 행동 건강 예측에서 제한적이고 불균형하며 노이즈가 많은 모바일 센싱 데이터의 과제를 해결하기 위해.
• 작은 데이터셋과 새로운 질병 시나리오에 일반화 가능한 딥 러닝 프레임워크를 개발하기 위해.
• 수동적인 특징 공학 없이 원시 센서 데이터를 사용하여 인플루엔자 및 COVID-19와 같은 호흡기 감염병의 예측 성능을 향상시키기 위해.
• 실제 도입 조건을 반영하고 극단적인 클래스 불균형으로 인한 통계적 불확실성을 줄이기 위해 현실적인 평가 프레임워크를 수립하기 위해.

제안 방법

• 모델은 원시 분당 센서 데이터에서 차원 축소 및 시간적 특징 추출을 위해 복소 신경망(CNNs)을 조합한 계층적 아키텍처를 사용한다.
• 장기 이력 시계열(최대 10,000단계)에서 장거리 의존성을 포착하기 위해 트랜스포머 자기주의 메커니즘을 적용한다.
• 특히 도메인 지식을 통합한 ‘도메인 유도 특징’을 포함한 새로운 자기지도 사전학습 작업을 도입하여 제한된 데이터에서 일반화 가능한 표현을 학습한다.
• 불완전한 시계열을 제거하는 대신 누락 데이터 패턴을 명시적으로 모델링하여 실세계 데이터에서의 강인성을 향상시킨다.
• 도메인 유도 자기지도 작업에서 사전학습한 후, 인플루엔자 예측 작업에서 미세조정을 통해 전이학습을 적용한다.
• 다양한 예측 작업을 통합하고 극단적인 클래스 불균형을 고려하여, 실제 성능 과대평가를 방지하는 종합적인 평가 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 제한된 참가자 수와 높은 클래스 불균형을 보이는 작은 모바일 센싱 데이터셋에서 자기지도 사전학습이 인플루엔자 및 COVID-19 예측 성능을 향상시킬 수 있는가?
• RQ2 인플루엔자 관련 데이터에서 사전학습한 표현을 사용해, 새로운 질병인 COVID-19에 대해 제로샷 예측을 수행하는 데 전이학습이 얼마나 효과적인가?
• RQ3 누락 데이터 모델링과 장거리 의존성 포착이 실세계 모바일 센싱 시나리오에서 모델 성능에 얼마나 기여하는가?
• RQ4 통합된 딥 러닝 프레임워크가 웨어러블 기기에서 얻은 작은, 장기 시퀀스, 다변량 시계열에 대해 전통적인 모델(XGBoost)을 능가할 수 있는가?

주요 결과

• 제안된 모델은 다섯 개의 인플루엔자 예측 작업에서 공통 기준 모델 대비 최대 0.15 ROC AUC 향상을 달성하여 뚜렷한 성능 향상을 입증한다.
• 소규모 데이터 환경에서 전이학습이 PR AUC를 16% 향상시켜 자원이 부족한 환경에서의 가치를 입증한다.
• 독립된 데이터셋에서 제로샷 COVID-19 예측에서 0.68 ROC AUC를 달성하여 XGBoost(0.51 ROC AUC)를 능가하며, 질병 간 전이 능력이 효과적임을 시사한다.
• ‘도메인 유도 특징’ 자기지도 사전학습 작업가 가장 높은 성능를 기록하여 도메인 지식 통합이 표현 학습을 향상시킨다는 것을 보여준다.
• 누락 데이터 패턴을 모델링하는 것이 단순한 보간 또는 배제 전략에 비해 강인성과 성능 향상에 뚜렷한 기여를 한다.
• 다양한 작업을 동시에 분석하고 극단적인 클래스 불균형을 고려함으로써 평가 프레임워크가 통계적 불확실성을 효과적으로 줄이고 실제 성능 과대평가를 방지함을 입증한다.