[论文解读] SoTTA: Robust Test-Time Adaptation on Noisy Data Streams

Taesik Gong, Yewon Kim+3 more|arXiv (Cornell University)|Oct 16, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

SoTTA 是一种新颖的测试时自适应方法，通过结合基于高置信度均匀类采样（high-confidence uniform-class sampling）的输入级过滤与基于熵-锐度最小化（entropy-sharpness minimization）的参数级稳定化，提升了对噪声数据流的鲁棒性。该方法在噪声测试条件下实现了最先进性能，在 CIFAR10-C（Noise）上准确率提升了 22.3 个百分点，并在干净设置下达到最先进性能。

ABSTRACT

Test-time adaptation (TTA) aims to address distributional shifts between training and testing data using only unlabeled test data streams for continual model adaptation. However, most TTA methods assume benign test streams, while test samples could be unexpectedly diverse in the wild. For instance, an unseen object or noise could appear in autonomous driving. This leads to a new threat to existing TTA algorithms; we found that prior TTA algorithms suffer from those noisy test samples as they blindly adapt to incoming samples. To address this problem, we present Screening-out Test-Time Adaptation (SoTTA), a novel TTA algorithm that is robust to noisy samples. The key enabler of SoTTA is two-fold: (i) input-wise robustness via high-confidence uniform-class sampling that effectively filters out the impact of noisy samples and (ii) parameter-wise robustness via entropy-sharpness minimization that improves the robustness of model parameters against large gradients from noisy samples. Our evaluation with standard TTA benchmarks with various noisy scenarios shows that our method outperforms state-of-the-art TTA methods under the presence of noisy samples and achieves comparable accuracy to those methods without noisy samples. The source code is available at https://github.com/taeckyung/SoTTA .

研究动机与目标

• 解决现有测试时自适应（TTA）方法在面对真实数据流中噪声或分布外样本时鲁棒性不足的问题。
• 开发一种 TTA 框架，在面对多样且意外的测试时损坏和异常时仍能保持高准确率。
• 在不访问训练数据的前提下实现鲁棒的模型自适应，以契合现实部署中的隐私与资源限制。
• 提出双重鲁棒机制——输入级过滤与参数级稳定化，专为噪声测试时场景设计。

提出的方法

• 高置信度均匀类采样（HUS）通过仅选择高置信度且类别分布均匀的样本进行模型更新，过滤掉噪声测试样本。
• 熵-锐度最小化（ESM）通过平滑损失曲面，减少由噪声样本引起的大幅梯度导致的模型漂移。
• HUS 确保仅可靠、良性样本参与参数更新，降低异常值的影响。
• ESM 通过最小化损失曲面的锐度，对模型参数进行正则化，增强对噪声输入梯度扰动的鲁棒性。
• 该方法为在线运行且无需访问训练数据，满足典型 TTA 约束。
• SoTTA 在 CIFAR10-C、CIFAR100-C 和 ImageNet-C 上评估了四种噪声场景：Near、Far、Attack 和 Noise。

实验结果

研究问题

• RQ1 当暴露于真实数据流中的噪声或分布外测试样本时，现有 TTA 方法表现如何？
• RQ2 能否在不依赖训练数据或批处理访问的前提下，使测试时自适应方法对噪声输入具有鲁棒性？
• RQ3 在在线自适应过程中，哪些机制能有效过滤噪声样本并稳定模型参数？
• RQ4 输入级与参数级鲁棒性协同作用，在分布偏移下能在多大程度上提升 TTA 性能？

主要发现

• 在最强噪声偏移（Noise）下，SoTTA 在 CIFAR10-C 上实现了 80.0% 的准确率，相比基线 TTA 方法提升了 22.3 个百分点。
• 在 Noise 场景中，SoTTA 比最佳基线方法（RoTTA）高出 6.4 个百分点，达到 81.5% 的准确率。
• 在干净设置下，SoTTA 与最先进 TTA 方法表现相当，在无噪声的 CIFAR10-C 上达到 82.1% 的准确率，与最佳基线性能一致。
• 该方法在所有四种噪声场景（Near、Far、Attack、Noise）中均表现出一致的性能提升，证明了其在多样化分布偏移下的鲁棒性。
• 消融研究证实，HUS 和 ESM 均对鲁棒性有显著贡献，其中 HUS 降低了噪声样本的影响，ESM 稳定了参数更新。
• 将 OOD 检测（如 ODIN）应用于 TTA 被发现不切实际，因其对阈值超参数高度敏感且性能增益微弱，验证了 SoTTA 集成方法的必要性。