[論文レビュー] DEJA VU: Continual Model Generalization For Unseen Domains

Chenxi Liu, Lixu Wang+4 more|arXiv (Cornell University)|Jan 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、『生じない期間』—つまり顕著な適応が行われる前、未確認ドメインにおけるモデルの汎化性能を向上させる、継続的ドメインシフト学習のための新規フレームワークRaTPを提案する。RandMix（訓練フリーのデータ拡張）、T2PL（時系列疑似ラベル付け機構）、PCA（プロトタイプ対照的アライメント損失）を統合することで、Digits、PACS、DomainNetベンチマークにおいて、TDG（ターゲットドメイン一般化）で最先端の性能を達成するとともに、TDA（ターゲットドメイン適応）およびFA（忘れの軽減）の両面でも優れた性能を示す。

ABSTRACT

In real-world applications, deep learning models often run in non-stationary environments where the target data distribution continually shifts over time. There have been numerous domain adaptation (DA) methods in both online and offline modes to improve cross-domain adaptation ability. However, these DA methods typically only provide good performance after a long period of adaptation, and perform poorly on new domains before and during adaptation - in what we call the "Unfamiliar Period", especially when domain shifts happen suddenly and significantly. On the other hand, domain generalization (DG) methods have been proposed to improve the model generalization ability on unadapted domains. However, existing DG works are ineffective for continually changing domains due to severe catastrophic forgetting of learned knowledge. To overcome these limitations of DA and DG in handling the Unfamiliar Period during continual domain shift, we propose RaTP, a framework that focuses on improving models' target domain generalization (TDG) capability, while also achieving effective target domain adaptation (TDA) capability right after training on certain domains and forgetting alleviation (FA) capability on past domains. RaTP includes a training-free data augmentation module to prepare data for TDG, a novel pseudo-labeling mechanism to provide reliable supervision for TDA, and a prototype contrastive alignment algorithm to align different domains for achieving TDG, TDA and FA. Extensive experiments on Digits, PACS, and DomainNet demonstrate that RaTP significantly outperforms state-of-the-art works from Continual DA, Source-Free DA, Test-Time/Online DA, Single DG, Multiple DG and Unified DA&DG in TDG, and achieves comparable TDA and FA capabilities.

研究の動機と目的

• 監視や医療画像診断などの実世界の応用において顕著なドメインシフトが生じるが、適応が行われる前、特に『生じない期間』にモデル性能が著しく低下するという深刻な課題に対処すること。
• 既存のドメイン適応（DA）およびドメイン一般化（DG）手法には、ソースデータへのアクセスを要するか、継続的ドメインシフト下で深刻な忘れ（catastrophic forgetting）を引き起こすという限界があるため、それを克服すること。
• 継続的学習の場面において、同時に強力なターゲットドメイン一般化（TDG）、効果的なターゲットドメイン適応（TDA）、忘れの軽減（FA）を実現できる統合フレームワークを構築すること。
• ソースドメインデータや大規模な再訓練に依存せず、実時間およびプライバシーに配慮した応用に適した、訓練フリーでスケーラブルなソリューションを設計すること。

提案手法

• 訓練フリーのデータ拡張モジュールであるRandMixを導入し、特徴量のランダム混合により、ドメインに依存しない多様なサンプルを生成することで、未確認ドメインへの汎化性能を向上させる。
• T2PL（時系列二重ストリーム疑似ラベル付け）を提案する。これは、現在のモデルと過去のモデル状態の両方の予測を活用して、オンライン適応用の信頼性の高い教師信号を生成する、新しい疑似ラベル付け機構である。
• PCA（プロトタイプ対照的アライメント）を採用する。これは、対照学習を用いてドメイン間でクラスプロトタイプをアライメントすることで、ドメイン不変表現学習を強化する損失関数である。
• クロスエントロピー損失、ログティス蒸留、PCA損失を統合的な最適化目的関数に統合し、TDG、TDA、FAを同時に最適化する。
• T2PLでは、現在のモデルとモーメンタム平均化された教師モデルの予測を比較する二重ストリーム推論機構を用いて、疑似ラベル生成の安定性を向上させる。
• 推論時にのみターゲットドメインデータに依存するため、ソースデータや再訓練の必要がない、ソースフリーで継続的適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルは、顕著なターゲットデータを十分に見ない『生じない期間』に、未確認ドメインにおいて強力な一般化性能を達成できるか？
• RQ2 新しいドメインに適応しながらも、以前に学習したドメインの性能を維持でき、継続的ドメインシフトの場面で深刻な忘れを回避できるか？
• RQ3 統合フレームワークは、同時に高い性能を達成できるか？ すなわち、ターゲットドメイン一般化（TDG）、ターゲットドメイン適応（TDA）、忘れの軽減（FA）の3つを満たすことができるか？
• RQ4 『生じない期間』における継続的ドメインシフト学習のパフォーマンス向上に、どのコンponentが最も重要か？

主な発見

• RaTPは、DomainNetベンチマークにおいてターゲットドメイン一般化（TDG）で平均56.8%の精度を達成し、この設定で既存のSOTA手法を顕著に上回った。
• PACSデータセットでは、RaTPは57.2%のTDG精度を達成し、単一ドメイン一般化設定で既存のSOTA手法を上回った。
• DigitsでUS→SD→SN→MM→MTの順序で継続的ドメインシフトを実験した結果、RaTPは平均49.0%のTDG性能を維持し、複数のドメインシフトに強く、高い耐性を示した。
• アブレーションスタディの結果、RandMix、T2PL、PCAのいずれかを除去すると顕著な性能低下が生じ、各コンponentの有効性が裏付けられた。
• 継続的DA、ソースフリーDA、テスト時DAの設定において、RaTPはSOTA手法と同等またはより優れた性能を達成した、ターゲットドメイン適応（TDA）および忘れの軽減（FA）の両面で優れた性能を示した。
• DomainNetでは、RaTPが平均56.8%のTDGスコアを達成し、前回のSOTAを6ポイント以上上回った。また、同じベンチマークで53.7%の平均忘れ精度を維持し、強力なFA性能を示した。