[論文レビュー] Domain Adaptation for Time Series Under Feature and Label Shifts

Huan He, Owen Queen+4 more|arXiv (Cornell University)|Feb 6, 2023

Domain Adaptation and Few-Shot Learning被引用数 17

ひとこと要約

Raincoatは、時系列データにおける時間特徴と周波数特徴を揃え、ミスアライメントを修正してプライベートターゲットラベルを検出することで、クローズドセット適応とユニバーサルドメイン適応の双方を実行できる初のモデルであり、転送性能を最大で16.33%向上させる。

ABSTRACT

Unsupervised domain adaptation (UDA) enables the transfer of models trained on source domains to unlabeled target domains. However, transferring complex time series models presents challenges due to the dynamic temporal structure variations across domains. This leads to feature shifts in the time and frequency representations. Additionally, the label distributions of tasks in the source and target domains can differ significantly, posing difficulties in addressing label shifts and recognizing labels unique to the target domain. Effectively transferring complex time series models remains a formidable problem. We present Raincoat, the first model for both closed-set and universal domain adaptation on complex time series. Raincoat addresses feature and label shifts by considering both temporal and frequency features, aligning them across domains, and correcting for misalignments to facilitate the detection of private labels. Additionally, Raincoat improves transferability by identifying label shifts in target domains. Our experiments with 5 datasets and 13 state-of-the-art UDA methods demonstrate that Raincoat can improve transfer learning performance by up to 16.33% and can handle both closed-set and universal domain adaptation.

研究の動機と目的

• 時系列データの特徴の時間・周波数のシフトとドメイン間のラベルシフトの双方に対応できる頑健なDAを推進する。
• 周波数ドメイン情報を取り入れてドメイン不変表現を学習するフレームワークを開発する。
• ターゲットドメインにおけるプライベート（ターゲットのみ）ラベルと未知クラスの検出を可能にする。
• 時系列に対するクローズドセットDAとユニバーサルDAの双方を網羅する統一的アプローチを提供する。

提案手法

• Raincoatを三つの構成要素: 時間-周波数エンコーダ G_TF、分類器 H、補助デコーダ U_TF を用いて導入する。
• e_F,i と e_T,i を結合して z_i を形成するように、時間特徴と周波数特徴の両方をエンコードする。
• Sinkhorn発散を用いて、分離したサポートを扱いながらソースとターゲットの周波数特徴を整列させる。
• ターゲットデータに修正（再構成）ステップを適用して、ターゲット埋め込みを再配置し UniDA を改善する。
• 二峰性検定とクラスタリングを用いて、補正前後のターゲット埋め込みの動きを分析してターゲットプライベートサンプルを検出する。
• 整列-補正推論パイプラインと、整列・再構成・分類損失を組み合わせた学習可能な目的関数を示す。

実験結果

リサーチクエスチョン

• RQ1 時系列のドメイン適応は、ソースとターゲット間の特徴のシフト（時間および周波数）とラベルのシフトの双方にどのように対処できるか？
• RQ2 単一のフレームワークは、時系列に対するクローズドセットDAとユニバーサルDAの双方をサポートできるか？
• RQ3 周波数ドメイン特徴を取り入れることは、時系列のクロスドメイン転送とプライベートラベル検出を改善するか？
• RQ4 提案された整列-補正戦略は、ターゲットプライベートサンプルを識別・除外するのにどれくらい効果的か？

主な発見

• Raincoatは、ユニバーサルDAで最大16.33%、クローズドセットベンチマークでも最大16.33%の転移学習性能を向上させる（要約に記載）。
• Raincoatは、時系列の時間特徴と周波数特徴の両方を明示的にモデル化して、ドメイン不変表現を捉える。
• Sinkhorn発散が、分離されたサポートを持つソースとターゲットの周波数特徴を整列させるために使用される。
• 補正ステップは、ターゲットデータ上でエンコーダを再訓練してターゲット埋め込みを再配置し、プライベートラベル検出を支援する。
• 未知のターゲットクラスは、補正前後のターゲット埋め込みの動きを二峰性検定と2-meansクラスタリングで分析して検出される。
• モダリティを跨ぐ5つの時系列データセットでの実験は、クローズドセットおよびユニバーサルDA条件の双方でRaincoatが強力なベースラインを上回ることを示している。