[論文レビュー] ViDA: Homeostatic Visual Domain Adapter for Continual Test Time Adaptation

Jiaming Liu, Senqiao Yang+6 more|arXiv (Cornell University)|Jun 7, 2023

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

ViDAは、連続的なテスト時適応における誤差蓄積と忘却に対処するために、デュアルランクの Visual Domain Adaptersと Homeostatic Knowledge Allotment 戦略を導入し、分類とセグメンテーションのベンチマークで最先端の結果を達成します。

ABSTRACT

Since real-world machine systems are running in non-stationary environments, Continual Test-Time Adaptation (CTTA) task is proposed to adapt the pre-trained model to continually changing target domains. Recently, existing methods mainly focus on model-based adaptation, which aims to leverage a self-training manner to extract the target domain knowledge. However, pseudo labels can be noisy and the updated model parameters are unreliable under dynamic data distributions, leading to error accumulation and catastrophic forgetting in the continual adaptation process. To tackle these challenges and maintain the model plasticity, we design a Visual Domain Adapter (ViDA) for CTTA, explicitly handling both domain-specific and domain-shared knowledge. Specifically, we first comprehensively explore the different domain representations of the adapters with trainable high-rank or low-rank embedding spaces. Then we inject ViDAs into the pre-trained model, which leverages high-rank and low-rank features to adapt the current domain distribution and maintain the continual domain-shared knowledge, respectively. To exploit the low-rank and high-rank ViDAs more effectively, we further propose a Homeostatic Knowledge Allotment (HKA) strategy, which adaptively combines different knowledge from each ViDA. Extensive experiments conducted on four widely used benchmarks demonstrate that our proposed method achieves state-of-the-art performance in both classification and segmentation CTTA tasks. Note that, our method can be regarded as a novel transfer paradigm for large-scale models, delivering promising results in adaptation to continually changing distributions. Project page: https://sites.google.com/view/iclr2024-vida/home.

研究の動機と目的

• 連続的テスト時適応（CTTA）を動機づけ、非定常なターゲットドメイン下での誤差蓄積と崩壊的忘却に対処する。
• 高ランクと低ランクの表現を持つ Visual Domain Adapters (ViDAs) を提案し、ドメイン固有の知識とドメイン共有の知識を捉える。
• 不確実性に基づいてViDAsからの情報を動的に統合する Homeostatic Knowledge Allotment (HKA) 戦略を導入する。
• パラメータを増やさずに事前学習済みモデルへViDAsを再パラメータ化することで、パラメータ効率の良い適応を実現する。
• 分類とセグメンテーションの複数のCTTAベンチマークで最先端の性能を示す。

提案手法

• 高ランクおよび低ランクの ViDAs を事前学習済みネットワークに注入し、ドメイン固有の知識とドメイン共有の知識を捉える。
• 教師-学生フレームワークと一貫性損失を用いて、教師モデルからの疑似ラベルを介して ViDAs を更新する。
• MCドロップアウトを用いて不確実性スコアを計算し、各サンプルの分布シフトを定量化する。
• Homeostatic Knowledge Allotment (HKA) を通じてViDA出力を元の特徴と動的に融合し、不確実性に応じて融合重みを調整する。
• 推論時に追加パラメータを避けるため、再パラメーションを用いてViDAs をバックボーンへ投影する。
• 一貫性損失とEMA更新された教師モデルで最適化し、継続的な適応を導く。

実験結果

リサーチクエスチョン

• RQ1 継続的に変化するターゲットドメインにおいて、誤差蓄積と崩壊的忘却を緩和するためにCTTAをどのように改善できるか。
• RQ2 デュアル表現のViDAs（高ランクと低ランク）は、ドメイン固有の知識とドメイン共有の知識を効果的に捉えられるか。
• RQ3 ホメオスタティックな融合戦略は、CTTAにおけるドメインシフト全体で知識の統合を改善するか。
• RQ4 パラメータ効率の良いアダプターは、プラスチシティを犠牲にすることなく、基盤モデルおよび大規模モデルの継続的適応を可能にするか。
• RQ5 ViDAsは分類とセグメンテーションの両方のCTTAベンチマークで性能を向上させ、未見のドメインへ一般化するか。

主な発見

• 低ランクの ViDAs はドメイン共有の知識を学習し、ドメイン間の分岐を低減し、ターゲットドメイン全体でのロバスト性を高める。
• 高ランクの ViDAs はドメイン固有の知識に焦点を当て、ドメイン内の誤差蓄積の緩和に貢献する。
• 提案されたHKA戦略は、不確実性指標に基づいてViDAsを動的に融合し、適応品質を向上させる。
• ViDAsは推論時に追加パラメータなしで再パラメータ化によって埋め込むことができ、モデルの可塑性を維持する。
• 実験は、分類とセグメンテーションの4つのCTTAベンチマークで最先端の性能を示し、未見のドメインへの一般化が改善された。