[論文レビュー] CALDA: Improving Multi-Source Time Series Domain Adaptation with Contrastive Adversarial Learning

Garrett Wilson, Janardhan Rao Doppa+1 more|arXiv (Cornell University)|Sep 30, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

CALDAは、データ拡張や偽ラベル付けに依存せずに、対照的学習と敵対的学習を包括的に組み合わせることで、モデルの転移性能を向上させる、新しいマルチソース時系列ドメイン適応フレームワークを提案する。クロスソースのラベル情報と弱い教師信号を活用することで、実世界および合成時系列データセットにおいて、ノイズの多いラベル条件下でも最先端の性能を達成する。

ABSTRACT

Unsupervised domain adaptation (UDA) provides a strategy for improving machine learning performance in data-rich (target) domains where ground truth labels are inaccessible but can be found in related (source) domains. In cases where meta-domain information such as label distributions is available, weak supervision can further boost performance. We propose a novel framework, CALDA, to tackle these two problems. CALDA synergistically combines the principles of contrastive learning and adversarial learning to robustly support multi-source UDA (MS-UDA) for time series data. Similar to prior methods, CALDA utilizes adversarial learning to align source and target feature representations. Unlike prior approaches, CALDA additionally leverages cross-source label information across domains. CALDA pulls examples with the same label close to each other, while pushing apart examples with different labels, reshaping the space through contrastive learning. Unlike prior contrastive adaptation methods, CALDA requires neither data augmentation nor pseudo labeling, which may be more challenging for time series. We empirically validate our proposed approach. Based on results from human activity recognition, electromyography, and synthetic datasets, we find utilizing cross-source information improves performance over prior time series and contrastive methods. Weak supervision further improves performance, even in the presence of noise, allowing CALDA to offer generalizable strategies for MS-UDA. Code is available at: https://github.com/floft/calda

研究の動機と目的

• ターゲットドメインにラベル付きデータが存在しないが、複数のソースドメインにラベル付きデータが存在する時系列データにおける教師なしドメイン適応の課題に対処すること。
• ドメイン間の特徴表現をよりよく整列させるために、クロスソースのラベル情報を活用して転移性能を向上させること。
• 時系列データの時間的構造のため、しばしば問題となるデータ拡張や偽ラベル付けに依存しない手法を開発すること。
• ターゲットドメインのクラス分布を弱い教師信号として統合し、特にノイズの多い条件下でも性能を向上させること。
• 敵対的学習と未ラベルターゲットドメインデータが、最適なドメイン適応性能を達成するために不可欠であることを実証すること。

提案手法

• ミニマックスゲームにおいて、ドメイン識別器と特徴抽出器を競わせるマルチソースドメイン敵対的学習を用いて、ドメイン不変な特徴表現を学習する。
• 同じラベルのサンプルの特徴表現を引き寄せる一方で、異なるラベルのものを遠ざけるために、クロスソースペアを用いてソースドメイン間で対照的学習を実施する。
• 対照的学習の設計には3つの重要な意思決定を含む：(1) ドメイン間のラベルの一貫性を活用するため、クロスソースペアを使用する、(2) パフォーマンス向上に寄与する場合にのみターゲットデータを対照的学習に含める、(3) ドメインの複雑さに基づいてハード例を優先する。
• ターゲットドメインのクラス分布を事前分布として統合することで弱い教師信号を導入し、学習プロセスをガイドし、ラベルノイズに対する耐性を向上させる。
• データ拡張や偽ラベル付けに依存せず、敵対的、対照的、分類の目的関数を統合したジョイント損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 特徴抽出器に続くタスク分類器とドメイン識別器を用意し、ドメインシフトを最小限に抑えつつターゲットの正答率を最大化するように、同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変な特徴表現学習に加えて、クロスソースのラベル情報はマルチソース時系列ドメイン適応の性能向上に寄与するか？
• RQ2 データ拡張や偽ラベル付けを一切行わない対照的学習は、時系列ドメイン適応においてパフォーマンス向上をもたらすか？
• RQ3 未ラベルターゲットドメインデータの統合は、時系列ドメイン適応モデルの性能にどのように影響を与えるか？
• RQ4 ターゲットクラス分布による弱い教師信号は、マルチソースドメイン適応におけるラベルノイズへの耐性をどの程度向上させるか？
• RQ5 時系列の対照的学習において、ハード例の選択や、内ソースおよびクロスソースペアの混合使用は、性能向上に寄与するか？

主な発見

• 実世界の時系列データセットにおいて、CALDAは先行手法を上回り、弱い教師信号を用いた場合の平均正答率は73.9% ± 5.8、用いない場合も73.1% ± 6.1を記録し、ベースライン手法に比べ顕著な向上を示した。
• 合成データセットでは、弱い教師信号を用いた場合74.5% ± 8.7、用いない場合71.4% ± 11.0の正答率を達成し、データタイプを問わず一貫した性能向上を示した。
• 未ラベルターゲットドメインデータの統合は性能を顕著に向上させた（p < 0.01）、ドメイン適応におけるその重要性を裏付けた。
• 弱い教師信号におけるラベルの割合ノイズに対しても、CALDAは高い性能を維持し、耐性を示した。
• クロスソースペアを用いた対照的学習は、内ソースペアやランダムペアに比べ性能向上をもたらし、ドメイン間のラベル一貫性の重要性を検証した。
• ドメイン一般化ベースライン（例：CALDG-Any,R）は、CoDATS-DGや他のドメイン一般化手法を上回った。これは、CALDAの設計が標準的なドメイン適応を越えて一般化可能であることを示している。