Skip to main content
QUICK REVIEW

[논문 리뷰] Contrastive Learning for Unsupervised Domain Adaptation of Time Series

Yılmazcan Özyurt, Stefan Feuerriegel|arXiv (Cornell University)|2022. 06. 13.
Domain Adaptation and Few-Shot LearningComputer Science인용 수 25
한 줄 요약

CLUDA는 다변 시계열의 비감독 도메인 적응을 위한 대조 학습 기반 프레임워크를 도입하여 맥락 표현을 포착하고 소스 도메인과 대상 도메인 간에 이를 정렬하며 벤치마크 시계열 데이터세트 및 의료 데이터에서 최첨단 결과를 달성합니다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims at learning a machine learning model using a labeled source domain that performs well on a similar yet different, unlabeled target domain. UDA is important in many applications such as medicine, where it is used to adapt risk scores across different patient cohorts. In this paper, we develop a novel framework for UDA of time series data, called CLUDA. Specifically, we propose a contrastive learning framework to learn contextual representations in multivariate time series, so that these preserve label information for the prediction task. In our framework, we further capture the variation in the contextual representations between source and target domain via a custom nearest-neighbor contrastive learning. To the best of our knowledge, ours is the first framework to learn domain-invariant, contextual representation for UDA of time series data. We evaluate our framework using a wide range of time series datasets to demonstrate its effectiveness and show that it achieves state-of-the-art performance for time series UDA.

연구 동기 및 목표

  • 의료 환경에서 특히 다변 시계열 데이터에서 소스 도메인과 라벨이 없는 대상 도메인 간의 도메인 시프트를 동기 부여하고 해결합니다.
  • 시계열에 대해 맥락적이고 라벨 보존 표현을 학습하는 프레임워크를 개발합니다.
  • 적대적 학습, 대조 학습, 이웃 이웃 대조 학습을 사용하여 도메인 간 맥락 표현을 정렬합니다.
  • 벤치마크 시계열 데이터셋과 대규모 의료 데이터셋에서 최신 UDA 성능을 보여줍니다.

제안 방법

  • 소스 도메인에서 예측 성능을 보존하면서 소스-타깃 도메인 간 차이를 최소화하기 위한 적대적 학습.
  • 시계열 데이터에 대한 의미 보존 증강을 사용하여 대조 학습(MoCo 스타일)으로 맥락 표현을 포착합니다.
  • 모멘텀으로 업데이트되는 인코더와 프로젝터를 활용하여 각 도메인 내에서 대조 손실을 계산합니다.
  • 타깃 샘플을 가장 가까운 소스 대응 샘플과 연결하여 클래스 수준에서 소스와 타깃 표현을 명시적으로 정렬하기 위한 최근접 이웃 대조 학습을 도입합니다.
  • 가중치를 조정 가능한 단일 목표로 손실들을 결합합니다: L = Lc + λ_disc Ldisc + λ_CL LCL^s+t + λ_NNCL LNNCL.

실험 결과

연구 질문

  • RQ1대조 학습으로 학습된 맥락 표현이 도메인 간에 정렬되어 시계열의 비감독 도메인 적응을 향상시킬 수 있을까?
  • RQ2적대적 도메인 정렬과 대조 학습 및 최근접 이웃 정렬을 결합하면 시계열 작업에서 최첨단 UDA 성능을 얻을 수 있을까?
  • RQ3도메인 불변적이고 맥락 보존적인 표현이 의료 시계열 데이터의 라벨이 없는 대상 도메인에 대한 일반화를 향상시킬까?

주요 결과

  • CLUDA는 벤치마크 시계열 데이터셋(WISDM, HAR, HHAR)에서 강력한 UDA 기준선 대비 상당한 향상을 달성합니다.
  • 의료 환경(MIMIC-IV 및 AmsterdamUMCdb)에서 CLUDA는 여러 도메인 시프트 시나리오에서 평균 AUROC가 최첨단을 기록하고 최상의 기준선(AdvSKM)을 눈에 띄는 차이로 상회합니다.
  • 특히 맥락 표현 학습(CL)과 최근접 이웃 교차 도메인 정렬(NNCL)이 성능 향상에 실질적으로 기여함을 제거 실험이 보여줍니다.
  • t-SNE 시각화는 CLUDA가 동일 클래스 샘플을 도메인 간에 함께 모으고 클래스별로 도메인을 정렬함으로써 클래스 특이적 도메인 불일치를 줄임을 시사합니다.
  • CLUDA는 실제 의료 도메인 전이 작업에서 성능 격차의 의미 있는 부분을 지속적으로 메움으로써 실용적 관련성을 확인합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.