[论文解读] ConDA: Continual Unsupervised Domain Adaptation

Abu Md Niamul Taufique, Chowdhury Sadman Jahan+1 more|arXiv (Cornell University)|Mar 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用 12

一句话总结

本文提出 ConDA，一种新颖的无源持续无监督域自适应框架，通过选择性重放缓冲区和 mixup 增强技术，逐步适应流式目标数据批次。ConDA 在无需完整访问目标域的情况下，优于许多依赖完整目标域访问的最先进方法，在显著降低数据存储需求的同时实现了更优的准确率。

ABSTRACT

Domain Adaptation (DA) techniques are important for overcoming the domain shift between the source domain used for training and the target domain where testing takes place. However, current DA methods assume that the entire target domain is available during adaptation, which may not hold in practice. This paper considers a more realistic scenario, where target data become available in smaller batches and adaptation on the entire target domain is not feasible. In our work, we introduce a new, data-constrained DA paradigm where unlabeled target samples are received in batches and adaptation is performed continually. We propose a novel source-free method for continual unsupervised domain adaptation that utilizes a buffer for selective replay of previously seen samples. In our continual DA framework, we selectively mix samples from incoming batches with data stored in a buffer using buffer management strategies and use the combination to incrementally update our model. We evaluate the classification performance of the continual DA approach with state-of-the-art DA methods based on the entire target domain. Our results on three popular DA datasets demonstrate that our method outperforms many existing state-of-the-art DA methods with access to the entire target domain during adaptation.

研究动机与目标

• 解决现有域自适应方法在适应过程中假设可完全访问目标域的实用限制。
• 开发一种持续域自适应框架，其中未标注的目标样本以小批量、顺序方式随时间到达。
• 通过消除对存储全部目标数据或训练后源数据的需求，降低适应过程中的数据存储需求。
• 通过选择性重放和自适应损失函数，提升在数据受限、流式目标场景下的模型泛化能力。
• 证明在有限数据访问条件下进行持续适应，可超越使用完整目标域访问的标准 DA 方法的性能。

提出的方法

• ConDA 使用缓冲区选择性地存储并重放先前处理过的带预测标签的目标样本。
• 对流入的目标批次使用样本 mixup 技术进行数据增强，以提升特征泛化能力。
• 引入一种新颖的等多样性损失，以平衡类别表示并减少持续适应过程中的灾难性遗忘。
• 框架采用无源适应策略，仅依赖流入的目标批次和缓冲区样本，推理过程中不使用源数据。
• 缓冲区管理策略优先保留多样且具代表性的样本，以维持跨批次的模型性能。
• 通过交叉熵损失、熵最小化损失以及所提出的等多样性损失组合，对模型进行渐进式微调。

实验结果

研究问题

• RQ1 持续域自适应框架能否超越一次性使用完整目标域的标准化域自适应方法？
• RQ2 在流式、数据受限的设置下，对先前见过的目标样本进行选择性重放如何影响模型性能？
• RQ3 通过 mixup 进行数据增强在持续无监督域自适应中能在多大程度上提升泛化能力？
• RQ4 缓冲区大小和批次大小在多大程度上影响持续域自适应模型的性能？
• RQ5 一种无源方法（适应过程中不访问源数据）能否在性能上维持或超越使用完整目标域访问的最先进方法？

主要发现

• 在 Office-31 数据集上，ConDA 在持续小批量大小为 62、缓冲区大小为 124 的条件下，比标准 SHOT 方法高出 1.8%。
• 在 Office-Home 数据集上，ConDA 的平均准确率比强基线方法 HDMI 高出 7% 以上，并在所有域对中创下新的最先进性能。
• 在 VisDA-C 数据集上，ConDA 的平均每类准确率比基线 SHOT 方法高出 1.5% 以上，并在具有挑战性的 'truck' 类上达到最佳性能。
• 消融实验表明，mixup、熵损失与等多样性损失的组合，相比无缓冲区的 HR-SHOT，性能提升 1.8%。
• 将批次大小从 64 增加到 256，ConDA 性能提升 5.6%；将缓冲区大小从 0 增加到每类 8 个样本，准确率提升 0.7%。
• 尽管在任何时刻仅访问目标数据的一小部分，ConDA 在三个基准数据集——Office-31、Office-Home 和 VisDA-C 上均实现了最先进性能。