[论文解读] DELTA: degradation-free fully test-time adaptation

Bowen Zhao, Chen Chen+1 more|arXiv (Cornell University)|Jan 30, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

DELTA 提出了一种即插即用的无退化全测试时自适应解决方案，解决了现有方法中的两个关键缺陷：不准确的归一化统计量和类别偏向的优化。它引入了测试时批归一化（TBR）以改善特征归一化，并采用动态在线重加权（DOT）以缓解对主导类别的偏向，从而在包括类别不平衡和依赖数据流在内的多种测试场景中实现了最先进（SOTA）的性能表现。

ABSTRACT

Fully test-time adaptation aims at adapting a pre-trained model to the test stream during real-time inference, which is urgently required when the test distribution differs from the training distribution. Several efforts have been devoted to improving adaptation performance. However, we find that two unfavorable defects are concealed in the prevalent adaptation methodologies like test-time batch normalization (BN) and self-learning. First, we reveal that the normalization statistics in test-time BN are completely affected by the currently received test samples, resulting in inaccurate estimates. Second, we show that during test-time adaptation, the parameter update is biased towards some dominant classes. In addition to the extensively studied test stream with independent and class-balanced samples, we further observe that the defects can be exacerbated in more complicated test environments, such as (time) dependent or class-imbalanced data. We observe that previous approaches work well in certain scenarios while show performance degradation in others due to their faults. In this paper, we provide a plug-in solution called DELTA for Degradation-freE fuLly Test-time Adaptation, which consists of two components: (i) Test-time Batch Renormalization (TBR), introduced to improve the estimated normalization statistics. (ii) Dynamic Online re-weighTing (DOT), designed to address the class bias within optimization. We investigate various test-time adaptation methods on three commonly used datasets with four scenarios, and a newly introduced real-world dataset. DELTA can help them deal with all scenarios simultaneously, leading to SOTA performance.

研究动机与目标

• 识别并解决现有全测试时自适应方法中的两个关键缺陷：推理过程中不准确的归一化统计量和类别偏向的优化。
• 提升在复杂测试环境下的适应鲁棒性，包括类别不平衡和时间上相关的数据流，这些场景中先前的方法性能显著下降。
• 开发一种即插即用的解决方案，与现有测试时自适应框架兼容，无需微调或额外计算开销。
• 在多个基准场景中实现一致的性能提升，包括独立和依赖的、类别平衡和类别不平衡的测试分布。
• 提供一种统一、通用的解决方案，以增强实时模型自适应中的归一化稳定性和优化公平性。

提出的方法

• 测试时批归一化（TBR）通过使用测试时特征的移动平均值来校准推理过程中的归一化，从而纠正不准确的批归一化统计量。
• TBR 将归一化后的特征集成到梯度计算中，确保优化基于比标准测试时 BN 更准确、更稳定的统计量。
• 动态在线重加权（DOT）通过基于动量更新的频率向量，动态调整分类权重，应用代价敏感学习。
• DOT 结合了预训练模型、当前测试流以及自适应方法本身提供的偏差信号，以减少对主导类别的过拟合。
• 该方法设计为即插即用：TBR 可应用于任何基于 BN 的模型而无需微调，DOT 可轻松与 TENT 或熵最小化等现有自适应技术结合。
• 该框架在 CIFAR100-C 和 ImageNet-C 上针对四种测试场景进行了评估——类别平衡/独立、类别平衡/依赖、类别不平衡/独立和类别不平衡/依赖。

实验结果

研究问题

• RQ1 为何现有测试时自适应方法在复杂测试环境（如类别不平衡或依赖数据流）中性能下降？
• RQ2 测试时批归一化中的不准确归一化如何影响模型性能和泛化能力？
• RQ3 在测试时自适应过程中，模型优化对主导类别的偏向程度如何？这种偏向在不同数据分布下如何变化？
• RQ4 统一的即插即用解决方案能否在多样化测试时场景中同时提升归一化准确性和优化公平性？
• RQ5 结合 TBR 和 DOT 对全测试时自适应的最先进性能有何影响？

主要发现

• 在 CIFAR100-C 的所有四种测试场景中，DELTA 均实现了最先进性能，准确率相比基线方法提升 10.0 至 15.0 个百分点。
• 在 ImageNet-C 的 DS+CI（ρ=0.5, π=0.1）场景中，TENT+DELTA 达到 42.2% 的平均准确率，显著优于 TENT（22.4%）和 TENT+TBR（39.3%）。
• Ent-W+DELTA 在 DS+CI（ρ=0.5, π=0.05）场景中达到 45.3% 的平均准确率，而 Ent-W 单独使用仅为 10.7%，表明在挑战性设置下性能有显著提升。
• 消融实验确认 TBR 和 DOT 均独立贡献于性能提升：TBR 提升了归一化稳定性，DOT 减少了优化中的类别偏向。
• 在 DS+CI（ρ=0.5, π=0.1）场景中，PL+DELTA 达到 38.8% 的平均准确率，相比 PL 单独使用提升了 15.8 个百分点，凸显其在类别不平衡场景下的鲁棒性。
• DELTA 在所有测试环境中均持续提升性能，包括存在时间依赖性和类别不平衡的场景，而此前方法在这些场景中存在严重性能退化。