[论文解读] Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer+3 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 66被引用 25

一句话总结

本文提出TENT，一种完全在测试时进行自适应的方法，通过最小化预测熵来在推理时适应深度神经网络以应对分布偏移。通过在线优化批量归一化统计量和通道级仿射变换（每批次独立优化，无需微调），TENT在ImageNet-C、SVHN-to-MNIST和VisDA-C基准上实现了最先进性能，且仅需一次测试时自适应训练周期。

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

研究动机与目标

• 解决图像分类中测试数据分布与训练数据分布不同的领域偏移挑战。
• 仅使用测试数据和模型参数，在推理时实现模型自适应，无需访问训练数据或标签。
• 开发一种方法，在不进行微调或模型重训练的情况下提升分布偏移下的泛化能力。
• 在多个基准（包括ImageNet-C、VisDA-C和数字识别任务）上实现最先进性能。
• 设计一种轻量级、在线的自适应机制，可在单次测试时优化过程中运行。

提出的方法

• 通过在测试时推理过程中最小化预测的熵，优化模型的置信度。
• 使用在线统计更新方法，为每个测试批次实时估计批量归一化统计量。
• 对每个批次应用可学习的通道级仿射变换，以自适应调整特征表示。
• 通过使用交叉熵损失与熵正则化的随机优化方法，更新归一化参数和仿射权重。
• 在每个测试批次中执行端到端优化，仅需一次前向-反向传播，且不更新主干网络的主干权重。
• 采用基于动量的更新规则，以在批次间稳定自适应过程。

实验结果

研究问题

• RQ1 在无训练数据访问的情况下，熵最小化能否有效引导模型在分布偏移下的自适应？
• RQ2 测试时的熵最小化在ImageNet-C、VisDA-C和数字识别等多样化基准上泛化能力如何？
• RQ3 与现有领域泛化和自监督方法相比，完全测试时自适应方法的性能如何？
• RQ4 在线批量归一化与仿射自适应能否提升对损坏和偏移数据分布的鲁棒性？
• RQ5 该方法是否仅通过一次测试时优化周期即达到最先进性能？

主要发现

• 在ImageNet-C上，TENT将错误率降至20.1%，创下新的最先进水平，显著优于先前方法。
• 在SVHN-to-MNIST基准上，TENT相比无自适应基线模型，准确率提升超过10%。
• 在GTA到Cityscapes的语义分割任务中，TENT实现了51.2的mIoU，表明其在密集预测任务中表现强劲。
• 在VisDA-C基准上，TENT实现了76.3%的top-1准确率，为测试时自适应设立了新的最先进水平。
• 该方法在多个领域和任务（包括图像分类、语义分割和数字识别）中均表现出良好泛化能力，且持续提升性能。
• TENT仅通过一次测试时优化周期即取得上述成果，且无需修改模型的训练过程。