[论文解读] DomainAdaptor: A Novel Approach to Test-time Adaptation

Jian Zhang, Lei Qi+2 more|arXiv (Cornell University)|Aug 20, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

DomainAdaptor 提出了一种用于领域泛化的新型测试时自适应方法，通过 AdaMixBN 动态融合源域和目标域的批量统计信息，并利用广义熵最小化（GEM）损失优化自适应过程。该方法在四个基准测试中实现了最先进性能，尤其在少样本未见领域场景中表现卓越，通过有效利用未标注的测试数据实现自适应，且无需微调重训练。

ABSTRACT

To deal with the domain shift between training and test samples, current methods have primarily focused on learning generalizable features during training and ignore the specificity of unseen samples that are also critical during the test. In this paper, we investigate a more challenging task that aims to adapt a trained CNN model to unseen domains during the test. To maximumly mine the information in the test data, we propose a unified method called DomainAdaptor for the test-time adaptation, which consists of an AdaMixBN module and a Generalized Entropy Minimization (GEM) loss. Specifically, AdaMixBN addresses the domain shift by adaptively fusing training and test statistics in the normalization layer via a dynamic mixture coefficient and a statistic transformation operation. To further enhance the adaptation ability of AdaMixBN, we design a GEM loss that extends the Entropy Minimization loss to better exploit the information in the test data. Extensive experiments show that DomainAdaptor consistently outperforms the state-of-the-art methods on four benchmarks. Furthermore, our method brings more remarkable improvement against existing methods on the few-data unseen domain. The code is available at https://github.com/koncle/DomainAdaptor.

研究动机与目标

• 通过利用未标注的测试数据实现测试时自适应，以缓解领域偏移问题，且无需重新训练。
• 解决在领域差距较大时批量归一化统计估计不准确的问题。
• 通过利用未标注测试样本中的高置信度预测（这些通常被标准熵最小化方法忽略），提升自适应性能。
• 设计一种可与任意预训练卷积神经网络模型配合使用的方法，实现完全的测试时自适应，且无需访问源域数据。
• 缓解微调后因权重不匹配导致的自适应归一化层性能下降问题。

提出的方法

• AdaMixBN 使用可学习的混合系数，动态融合预训练（源域）和当前测试批次的统计信息，提升在领域偏移情况下的归一化准确性。
• 在微调前，通过统计变换操作将源域统计信息转换为仿射参数，防止因权重不匹配导致的性能下降。
• 广义熵最小化（GEM）损失通过温度缩放软化预测概率，为高置信度样本生成更大的梯度，从而增强学习效果。
• GEM 损失扩展了传统熵最小化方法，强调高置信度预测，而这些在标准熵最小化中通常被低估。
• 该方法仅在测试批次上运行，无需访问源域数据或重新训练模型，支持即插即用部署。
• 该方法端到端应用于任意预训练的 CNN 模型，仅在推理阶段微调批量归一化层。

实验结果

研究问题

• RQ1 在存在较大领域偏移的情况下，源域与测试批次统计信息的自适应融合是否能提升归一化准确性？
• RQ2 一种强调高置信度预测的广义熵最小化损失是否在测试时自适应中优于标准熵最小化？
• RQ3 统计变换操作是否能防止微调过程中自适应归一化层的性能下降？
• RQ4 与旋转或拼图等自监督损失相比，DomainAdaptor 在测试时自适应中的有效性如何？
• RQ5 DomainAdaptor 是否能在多样化的领域泛化基准测试中持续提升性能，尤其是在低数据场景下？

主要发现

• 在 PACS 数据集上，DomainAdaptor 在数据增强设置下达到 96.41% 的 top-1 准确率，显著优于此前最先进方法（85.89%）。
• 在 VLCS 基准测试中，DomainAdaptor 将准确率从基线的 75.77% 提升至 78.50%，展现出强大的跨领域泛化能力。
• 在少样本未见领域设置中，DomainAdaptor 相较于现有方法展现出最显著的性能提升，证实其在低数据场景下的有效性。
• 消融实验表明，使用学习到的混合系数 α（而非 1−α）能显著提升性能，验证了基于相似度混合策略的设计合理性。
• 与旋转和拼图等自监督损失相比，DomainAdaptor 实现了 2.0% 的平均准确率提升（74.60% vs. 71.75%），证明其优化策略更优。
• 该方法在多个预训练的 SOTA 模型（如 MVRML）上均一致提升性能，无需重新训练，PACS 数据集上的准确率从 85.89% 提升至 88.12%。