[论文解读] DEJA VU: Continual Model Generalization For Unseen Domains

Chenxi Liu, Lixu Wang+4 more|arXiv (Cornell University)|Jan 25, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出 RaTP，一种用于持续领域漂移学习的新框架，可提升模型在‘不熟悉阶段’（即显著适应发生前）对未见领域的泛化能力。通过整合无需训练的数据增强（RandMix）、时间伪标签机制（T2PL）和原型对比对齐（PCA）损失，RaTP 在 Digits、PACS 和 DomainNet 基准上实现了目标领域泛化（TDG）的最先进性能，同时在目标领域适应（TDA）和遗忘缓解（FA）方面也表现出色。

ABSTRACT

In real-world applications, deep learning models often run in non-stationary environments where the target data distribution continually shifts over time. There have been numerous domain adaptation (DA) methods in both online and offline modes to improve cross-domain adaptation ability. However, these DA methods typically only provide good performance after a long period of adaptation, and perform poorly on new domains before and during adaptation - in what we call the "Unfamiliar Period", especially when domain shifts happen suddenly and significantly. On the other hand, domain generalization (DG) methods have been proposed to improve the model generalization ability on unadapted domains. However, existing DG works are ineffective for continually changing domains due to severe catastrophic forgetting of learned knowledge. To overcome these limitations of DA and DG in handling the Unfamiliar Period during continual domain shift, we propose RaTP, a framework that focuses on improving models' target domain generalization (TDG) capability, while also achieving effective target domain adaptation (TDA) capability right after training on certain domains and forgetting alleviation (FA) capability on past domains. RaTP includes a training-free data augmentation module to prepare data for TDG, a novel pseudo-labeling mechanism to provide reliable supervision for TDA, and a prototype contrastive alignment algorithm to align different domains for achieving TDG, TDA and FA. Extensive experiments on Digits, PACS, and DomainNet demonstrate that RaTP significantly outperforms state-of-the-art works from Continual DA, Source-Free DA, Test-Time/Online DA, Single DG, Multiple DG and Unified DA&DG in TDG, and achieves comparable TDA and FA capabilities.

研究动机与目标

• 为解决关键挑战：在模型面对突然且显著的领域漂移、尚未开始适应前的‘不熟悉阶段’，性能表现差的问题，尤其在监控和医学影像等现实应用中。
• 克服现有领域自适应（DA）和领域泛化（DG）方法的局限性，这些方法要么需要访问源域数据，要么在持续领域漂移下易产生灾难性遗忘。
• 开发一个统一框架，实现在持续学习场景中同时具备强大的目标领域泛化（TDG）、有效的目标领域适应（TDA）和遗忘缓解（FA）能力。
• 设计一种无需训练、可扩展的解决方案，不依赖源域数据或大量重训练，适用于实时和隐私敏感的应用场景。

提出的方法

• 提出 RandMix，一种无需训练的数据增强模块，通过随机混合特征生成多样化、领域无关的样本，提升对未见领域的泛化能力。
• 提出 T2PL（时间双流伪标签），一种新颖的伪标签机制，利用当前和历史模型状态的预测结果，为在线适应生成可靠的监督信号。
• 采用 PCA（原型对比对齐），一种损失函数，通过对比学习在不同领域间对齐类别原型，提升领域不变表示学习能力。
• 将交叉熵损失、logits蒸馏和 PCA 损失联合优化，构建统一的优化目标，以同时优化 TDG、TDA 和 FA。
• 在 T2PL 中采用双流推理机制，通过比较当前模型与动量平均教师模型的预测结果，稳定伪标签生成过程。
• 通过仅依赖目标域数据进行推理，实现无源域数据的持续适应，避免对源域数据的依赖或从头开始的重训练。

实验结果

研究问题

• RQ1 模型是否能在尚未接触大量目标数据、即处于‘不熟悉阶段’时，实现对未见领域的强大泛化？
• RQ2 在持续适应新领域的同时，模型如何保持对先前已见领域的性能，从而缓解在持续领域漂移场景下的灾难性遗忘？
• RQ3 统一框架能否同时在目标领域泛化（TDG）、目标领域适应（TDA）和遗忘缓解（FA）方面实现高性能？
• RQ4 在持续领域漂移学习的‘不熟悉阶段’，哪些组件对性能提升最为关键？

主要发现

• RaTP 在 DomainNet 基准上的目标领域泛化（TDG）任务中实现了 56.8% 的平均准确率，显著优于该设置下的最先进方法。
• 在 PACS 数据集上，RaTP 实现了 57.2% 的 TDG 准确率，在单领域泛化设置下超越了现有 SOTA 方法。
• 在 Digits 数据集上，按照 US→SD→SN→MM→MT 的顺序进行持续领域漂移实验，RaTP 维持了 49.0% 的平均 TDG 性能，展现出对多重领域漂移的鲁棒性。
• 消融实验表明，移除 RandMix、T2PL 或 PCA 均导致性能显著下降，验证了各组件的有效性。
• 在持续 DA、无源 DA 和测试时 DA 设置下，RaTP 在目标领域适应（TDA）和遗忘缓解（FA）方面实现了与 SOTA 方法相当或更优的性能。
• 该框架在 DomainNet 上实现了 56.8% 的平均 TDG 得分，比之前 SOTA 提高超过 6 个百分点，同时在相同基准上保持了 53.7% 的平均遗忘准确率，表现出强劲的 FA 性能。