Skip to main content
QUICK REVIEW

[論文レビュー] Contrastive Learning for Unsupervised Domain Adaptation of Time Series

Yılmazcan Özyurt, Stefan Feuerriegel|arXiv (Cornell University)|Jun 13, 2022
Domain Adaptation and Few-Shot LearningComputer Science被引用数 25
ひとこと要約

CLUDAは、多変量時系列の教師なしドメイン適応のための対照学習ベースのフレームワークを導入し、文脈表現をキャプチャしてソースドメインとターゲットドメイン間でそれらを整合させ、ベンチマーク時系列データセットと医療データで最先端の結果を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) aims at learning a machine learning model using a labeled source domain that performs well on a similar yet different, unlabeled target domain. UDA is important in many applications such as medicine, where it is used to adapt risk scores across different patient cohorts. In this paper, we develop a novel framework for UDA of time series data, called CLUDA. Specifically, we propose a contrastive learning framework to learn contextual representations in multivariate time series, so that these preserve label information for the prediction task. In our framework, we further capture the variation in the contextual representations between source and target domain via a custom nearest-neighbor contrastive learning. To the best of our knowledge, ours is the first framework to learn domain-invariant, contextual representation for UDA of time series data. We evaluate our framework using a wide range of time series datasets to demonstrate its effectiveness and show that it achieves state-of-the-art performance for time series UDA.

研究の動機と目的

  • 時系列データにおけるソースドメインとラベルなしのターゲットドメイン間のドメインシフトを動機づけて対処し、特に医療現場での適用を重視する。
  • 時系列データの文脈を捉え、ラベルを保持する表現を学習するフレームワークを開発する。
  • 敵対的学習、対照学習、最近傍対照学習を用いて、ドメイン間で文脈表現を整合させる。
  • ベンチマーク時系列データセットと大規模な医療データセットで最先端のUDA性能を実証する。

提案手法

  • ソースドメインの予測性能を保持しつつ、ソースとターゲットのドメイン差を最小化するための敵対的学習。
  • 時系列データの意味保護なデータ拡張を用いて、対照学習(MoCo風)により文脈表現を捕捉する。
  • モメンタム更新エンコーダとプロジェクタを用いて、それぞれのドメイン内で対照損失を計算する。
  • クラスレベルでソースとターゲットの表現を明示的に整合させるため、ターゲットサンプルを最も近いソースの対応物に結びつける最近傍対照学習を導入する。
  • 損失を統一目的関数に組み合わせ、重みを調整可能にする:L = Lc + λ_disc Ldisc + λ_CL LCL^s+t + λ_NNCL LNNCL。

実験結果

リサーチクエスチョン

  • RQ1対照学習で学習された文脈表現をドメイン間で整合させ、時系列の教師なしドメイン適応を改善できるか。
  • RQ2敵対的ドメイン整合と対照学習および最近傍整合を組み合わせることで、時系列タスクにおいて最先端のUDA性能を達成するか。
  • RQ3ドメイン不変で文脈を保持する表現は、医療系時系列データのラベルなしターゲットドメインへの一般化を改善するか。

主な発見

  • CLUDAは、ベンチマーク時系列データセット(WISDM、HAR、HHAR)における強力なUDAベースラインより顕著な改善を達成する。
  • 医療現場(MIMIC-IVとAmsterdamUMCdb)では、複数のドメインシフトシナリオで最先端の平均AUROCを達成し、最良のベースライン(AdvSKM)を測定可能な差で上回る。
  • アブレーション研究は、文脈表現学習(CL)と最近傍クロスド-domain整合(NNCL)の双方が性能向上に意味のある寄与をすることを示す。
  • t-SNEの可視化は、CLUDAがクラス固有のドメイン不整合を減らし、同じクラスのサンプルをドメイン間で結びつけ、クラスごとにドメインを整合させることを示している。
  • CLUDAは実用的な医療ドメインの転送タスクにおける性能ギャップの意味ある部分を一貫して埋め、実用的な妥当性を検証する。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。