[论文解读] Back to the Source: Diffusion-Driven Test-Time Adaptation

Jin Gao, Jialing Zhang+4 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

该论文提出了一种测试时输入自适应方法——扩散驱动自适应（Diffusion-Driven Adaptation, DDA），利用预训练的扩散模型将受损的测试图像投影回源域，从而在不更新分类器的情况下实现鲁棒性。DDA 在 ImageNet-C 上针对多种损坏类型、模型架构和数据设置均实现了最先进水平的鲁棒性表现，尤其在模型自适应因小批量、有序或混合数据批次而失效的情况下表现尤为突出。

ABSTRACT

Test-time adaptation harnesses test inputs to improve the accuracy of a model trained on source data when tested on shifted target data. Existing methods update the source model by (re-)training on each target domain. While effective, re-training is sensitive to the amount and order of the data and the hyperparameters for optimization. We instead update the target data, by projecting all test inputs toward the source domain with a generative diffusion model. Our diffusion-driven adaptation method, DDA, shares its models for classification and generation across all domains. Both models are trained on the source domain, then fixed during testing. We augment diffusion with image guidance and self-ensembling to automatically decide how much to adapt. Input adaptation by DDA is more robust than prior model adaptation approaches across a variety of corruptions, architectures, and data regimes on the ImageNet-C benchmark. With its input-wise updates, DDA succeeds where model adaptation degrades on too little data in small batches, dependent data in non-uniform order, or mixed data with multiple corruptions.

研究动机与目标

• 解决测试时模型自适应方法对数据量、顺序和损坏组合敏感的问题。
• 克服在无源自适应设置中为每个目标域重新训练模型所带来的可扩展性与计算成本问题。
• 通过在推理阶段自适应输入而非模型，实现分布偏移下的鲁棒泛化。
• 开发一种与模型无关、可扩展的方法，在保持固定源模型的同时适应多个目标域。
• 通过统一的生成式输入自适应框架（结合扩散建模与自集成）提升对图像损坏的鲁棒性。

提出的方法

• 仅在源数据上训练扩散模型以学习数据流形，随后冻结该模型用于所有测试时自适应。
• 通过迭代图像引导的反向扩散过程，将每个测试输入向源域方向投影。
• 利用分类器自集成动态确定每个输入的最优自适应程度。
• 在推理过程中对去噪后的自适应输入应用源分类器，且不进行任何模型更新。
• 整合前向加噪与反向去噪步骤以稳定自适应过程。
• 在反向采样过程中利用图像引导，以在减少域偏移的同时保留语义内容。

实验结果

研究问题

• RQ1 在具有挑战性的数据设置下，基于扩散建模的输入级自适应是否能优于模型级自适应？
• RQ2 在小批量、有序或混合损坏条件下，DDA 在 ImageNet-C 上的表现如何，而这些条件下模型自适应通常会退化？
• RQ3 自集成在通过控制去噪程度来提升自适应鲁棒性方面，其作用有多大？
• RQ4 一个在源域上训练的单一扩散模型是否能无需微调即泛化到多个目标域？
• RQ5 各组件（前向、反向和精炼）对 DDA 整体鲁棒性的贡献分别是什么？

主要发现

• 在模糊损坏设置下，DDA 使用 Swin-T 主干网络在 ImageNet-C 上达到 41.2% 的 top-1 准确率，优于 MEMO（38.9%）和 Tent（35.1%）。
• 在散斑噪声损坏下，DDA 使用 ConvNeXt-T 达到 57.3% 的准确率，显著优于 DiffPure（48.7%）和 MEMO（53.2%）。
• 在小批量（如 1–4 个样本）设置下，DDA 保持高鲁棒性，而 Tent 因噪声更新而性能下降，表明其在低数据场景下具有稳定性。
• DDA 有效处理了有序和混合损坏，而模型自适应常因顺序性或冲突性的分布偏移而失效。
• 消融实验表明，结合前向、反向和精炼步骤可获得最佳性能，而仅使用反向+引导的方案表现较差。
• DDA 具备模型无关性，在无需微调的情况下显著提升了 ResNet-50、Swin-T 和 ConvNeXt-T 的鲁棒性，证实其广泛适用性。