Skip to main content
QUICK REVIEW

[论文解读] Contrastive Learning for Unsupervised Domain Adaptation of Time Series

Yılmazcan Özyurt, Stefan Feuerriegel|arXiv (Cornell University)|Jun 13, 2022
Domain Adaptation and Few-Shot LearningComputer Science被引用 25
一句话总结

CLUDA 引入基于对比学习的无监督域适应框架,用于多变量时间序列,捕捉上下文表示并在源域与目标域之间对齐,在基准时间序列数据集和医疗数据上取得了最先进的结果。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at learning a machine learning model using a labeled source domain that performs well on a similar yet different, unlabeled target domain. UDA is important in many applications such as medicine, where it is used to adapt risk scores across different patient cohorts. In this paper, we develop a novel framework for UDA of time series data, called CLUDA. Specifically, we propose a contrastive learning framework to learn contextual representations in multivariate time series, so that these preserve label information for the prediction task. In our framework, we further capture the variation in the contextual representations between source and target domain via a custom nearest-neighbor contrastive learning. To the best of our knowledge, ours is the first framework to learn domain-invariant, contextual representation for UDA of time series data. We evaluate our framework using a wide range of time series datasets to demonstrate its effectiveness and show that it achieves state-of-the-art performance for time series UDA.

研究动机与目标

  • 在时间序列数据中,尤其是在医疗环境下,推动并解决源域与未标注目标域之间的域偏移。
  • 开发一个框架,学习时间序列的上下文化、保标签的表示。
  • 使用对抗学习、对比学习和最近邻对比学习在跨域之间对齐上下文表示。
  • 在基准时间序列数据集和大型医疗数据集上展示最先进的UDA性能。

提出的方法

  • 通过对抗训练在尽量保持源域预测性能的同时最小化源域与目标域之间的差异。
  • 通过对比学习(MoCo 风格)利用语义保持的时序数据增强来获得上下文表示。
  • 使用动量更新的编码器和投影头在每个域内计算对比损失。
  • 引入最近邻对比学习,通过将目标样本与最近的源域样本在类别层面相连,明确对齐源/目标表示。
  • 将损失合成为一个带有可调权重的统一目标:L = Lc + λ_disc Ldisc + λ_CL LCL^s+t + λ_NNCL LNNCL。

实验结果

研究问题

  • RQ1通过对比学习获得的上下文表示是否可以跨域对齐,从而提升时间序列的无监督域适应?
  • RQ2将对抗域对齐、对比学习与最近邻对齐结合起来,是否能在时间序列任务上实现最先进的UDA性能?
  • RQ3领域不变的、保上下文的表示是否能提升在医疗时间序列数据中对未标注目标域的泛化能力?

主要发现

  • CLUDA 在基准时间序列数据集(WISDM、HAR、HHAR)上显著优于强基线的UDA。
  • 在医疗场景(MIMIC-IV 和 AmsterdamUMCdb),CLUDA 在若干域移位情境下实现了平均 AUROC 的最先进水平,并较最佳基线(AdvSKM)有可观的提升。
  • 消融实验表明,上下文表示学习(CL)和最近邻跨域对齐(NNCL)对性能提升均有显著贡献。
  • t-SNE 可视化表明,CLUDA 通过将同一类别的样本在跨域中拉近并在每个类别层面对齐域,减少了类别特异性的域错配。
  • CLUDA 在实际医疗域转移任务中持续填补了性能差距的一个有意义部分,验证了其实际相关性。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。