[论文解读] Gradient Regularized Contrastive Learning for Continual Domain Adaptation

Shixiang Tang, Peng Su+2 more|arXiv (Cornell University)|Mar 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用 9

一句话总结

该论文提出梯度正则化对比学习（GRCL）用于持续域适应，通过梯度正则化保留源域判别性特征并防止对旧目标域的遗忘。通过强制源域和旧目标域分类损失的正梯度相关性，GRCL 在保持先前性能的同时提升了对新域的适应能力，在三个基准测试上相比基线模型准确率提升超过5%。

ABSTRACT

Human beings can quickly adapt to environmental changes by leveraging learning experience. However, adapting deep neural networks to dynamic environments by machine learning algorithms remains a challenge. To better understand this issue, we study the problem of continual domain adaptation, where the model is presented with a labelled source domain and a sequence of unlabelled target domains. The obstacles in this problem are both domain shift and catastrophic forgetting. We propose Gradient Regularized Contrastive Learning (GRCL) to solve the obstacles. At the core of our method, gradient regularization plays two key roles: (1) enforcing the gradient not to harm the discriminative ability of source features which can, in turn, benefit the adaptation ability of the model to target domains; (2) constraining the gradient not to increase the classification loss on old target domains, which enables the model to preserve the performance on old target domains when adapting to an in-coming target domain. Experiments on Digits, DomainNet and Office-Caltech benchmarks demonstrate the strong performance of our approach when compared to the other state-of-the-art methods.

研究动机与目标

• 为解决持续域适应（cDA）中域偏移与灾难性遗忘的双重挑战。
• 在持续适应新目标域的过程中，保持源域特征的判别能力以提升对新目标域的适应能力。
• 在增量适应过程中，显式防止对先前见过的目标域性能下降。
• 开发一种在序列域偏移下，准确率与稳定性方面均优于现有方法的方法。

提出的方法

• GRCL 使用对比学习在源域与目标域之间学习域不变表示。
• 源域判别性约束确保梯度不会损害源域上的分类损失，从而保留特征判别性。
• 目标域记忆约束强制梯度不会增加旧目标域上的分类损失，从而缓解灾难性遗忘。
• 通过聚类生成旧目标域的伪标签，并使用置信度阈值进行过滤，以确保高质量监督。
• 该方法将对比损失与两项梯度正则化项结合，约束参数更新以维持在源域和过去目标域上的性能。
• 该方法通过记忆库（存储先前域的特征）支持对比学习，实现端到端训练。

实验结果

研究问题

• RQ1 在持续适应新目标域的过程中，如何保持源域特征的判别能力？
• RQ2 在适应序列目标域时，何种机制能有效防止灾难性遗忘？
• RQ3 梯度正则化是否能优于多任务学习，在保持源域和先前见过的目标域性能方面表现更优？
• RQ4 带有记忆的对比学习在多大程度上能提升持续域适应中的泛化能力？
• RQ5 所提出的约束对序列域适应中的准确率与后向迁移有何影响？

主要发现

• GRCL 在 Digits、DomainNet 和 Office-Caltech 基准测试上相比最强基线模型，准确率提升超过5%。
• 源域判别性约束使对新目标域的适应能力提升约2.2%的准确率，对后向迁移影响极小。
• 目标域记忆约束使后向迁移提升约6%，证明了对灾难性遗忘的有效缓解。
• GRCL 相较于多任务学习基线，后向遗忘率（BWT）改善约4%，证实梯度正则化在知识保留方面的有效性。
• 增加记忆大小和训练轮数可一致提升性能，证实对比学习组件具有良好的可扩展性。