[论文解读] MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption

Alexander Bartler, Andre Bühler+3 more|arXiv (Cornell University)|Mar 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 14

一句话总结

MT3 提出元测试时间训练（Meta Test-Time Training），一种新颖方法，使深度神经网络仅使用单张未标注测试图像，即可在推理阶段快速适应未见的数据分布偏移。通过结合元学习（MAML）与自监督对比学习（BYOL），MT3 在 CIFAR-10-Corrupted 上实现最先进性能，相比先前最先进方法 TTT，平均准确率提升 6.6%（相对提升 9.57%）。

ABSTRACT

An unresolved problem in Deep Learning is the ability of neural networks to cope with domain shifts during test-time, imposed by commonly fixing network parameters after training. Our proposed method Meta Test-Time Training (MT3), however, breaks this paradigm and enables adaption at test-time. We combine meta-learning, self-supervision and test-time training to learn to adapt to unseen test distributions. By minimizing the self-supervised loss, we learn task-specific model parameters for different tasks. A meta-model is optimized such that its adaption to the different task-specific models leads to higher performance on those tasks. During test-time a single unlabeled image is sufficient to adapt the meta-model parameters. This is achieved by minimizing only the self-supervised loss component resulting in a better prediction for that image. Our approach significantly improves the state-of-the-art results on the CIFAR-10-Corrupted image classification benchmark. Our implementation is available on GitHub.

研究动机与目标

• 解决推理过程中领域偏移的挑战，即测试数据分布因数据损坏、对抗性扰动或环境变化而不同于训练分布。
• 克服训练后模型权重固定的问题，通过仅使用单张未标注图像，在测试时间实现动态自适应。
• 改进以往依赖联合训练但缺乏元优化的测试时间训练（TTT）方法，这些方法通常无法泛化到未见的分布偏移。
• 开发一种方法，通过元优化模型参数，实现对多样化、未见测试分布的快速且有效的适应。
• 在基准数据集（如 CIFAR-10-Corrupted 和 CIFAR-100-Corrupted）上实现对多种损坏类型的鲁棒性能，且训练过程中无需使用测试数据。

提出的方法

• 利用元学习（MAML）训练元模型，使其仅使用单张图像即可快速适应新的、未见的测试分布。
• 在元训练过程中，采用自监督对比学习（BYOL）作为辅助损失，以学习鲁棒且可泛化的表征。
• 在测试时间，通过在单张未标注测试图像上仅最小化自监督 BYOL 损失，利用梯度步长对元模型进行适应。
• 保持监督头不变，同时微调共享特征提取器和元参数，以提升当前测试样本的预测性能。
• 采用双头架构：一个用于监督下游分类，另一个通过 BYOL 实现自监督表征学习。
• 优化元参数，使得在任何新测试图像上的适应都能带来下游任务性能的提升，即使在严重分布偏移下亦然。

实验结果

研究问题

• RQ1 元学习能否与自监督学习有效结合，以实现在未见分布偏移下的快速、单图像测试时间自适应？
• RQ2 与标准联合训练或简单测试时间训练（TTT）相比，元优化自适应在损坏测试数据上的鲁棒性和准确率是否更优？
• RQ3 在 CIFAR-10-Corrupted 基准中，经元学习与 BYOL 训练的模型在多样化损坏类型上的泛化能力如何？
• RQ4 在准确率和自适应稳定性方面，MT3 与先前最先进方法（如 TTT 和 one-shot UDA）相比表现如何？
• RQ5 所提出方法能否扩展到更复杂的数据集（如 CIFAR-100-Corrupted），同时在分布偏移下保持强泛化能力？

主要发现

• MT3 在 CIFAR-10-Corrupted 基准上实现平均准确率 75.6%，相比先前最先进方法 TTT 提升 6.6 个百分点。
• 相比 TTT，相对提升达 9.57%，证明元优化在实现更快、更有效的测试时间自适应方面具有显著优势。
• 在 CIFAR-10-Corrupted 的 15 种损坏类型中，有 7 种类型下 MT3 的准确率高于所有对比方法，表明其在多样化损坏下的强大泛化能力。
• 与标准联合训练（测试时间自适应后平均性能下降 0.5%）相反，MT3 在单次梯度步长后准确率提升 4.2%。
• MT3 在 CIFAR-100-Corrupted 上也表现出类似性能增益，所有损坏类型下平均准确率达 40.3%，表明其在更复杂分类任务中的可扩展性。
• 消融研究证实元学习至关重要：仅使用 BYOL 的简单联合训练无法实现有效的测试时间自适应，凸显元优化在实现快速自适应中的必要性。