[论文解读] A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts

Jian Liang, Ran He+1 more|arXiv (Cornell University)|Mar 27, 2023

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本综述在分布偏移下为测试时自适应（TTA）提供系统的分类法，覆盖 SFDA、TTBA、OTTA、TTPA，以及分类法、方法、应用和未解决的挑战。

ABSTRACT

Machine learning methods strive to acquire a robust model during the training process that can effectively generalize to test samples, even in the presence of distribution shifts. However, these methods often suffer from performance degradation due to unknown test distributions. Test-time adaptation (TTA), an emerging paradigm, has the potential to adapt a pre-trained model to unlabeled data during testing, before making predictions. Recent progress in this paradigm has highlighted the significant benefits of using unlabeled data to train self-adapted models prior to inference. In this survey, we categorize TTA into several distinct groups based on the form of test data, namely, test-time domain adaptation, test-time batch adaptation, and online test-time adaptation. For each category, we provide a comprehensive taxonomy of advanced algorithms and discuss various learning scenarios. Furthermore, we analyze relevant applications of TTA and discuss open challenges and promising areas for future research. For a comprehensive list of TTA methods, kindly refer to \url{https://github.com/tim-learn/awesome-test-time-adaptation}.

研究动机与目标

• 将测试时自适应（TTA）定义为在推理前对无标签的测试数据对预训练模型进行适应。
• 将 TTA 分类为四个主题：SFDA、TTBA、OTTA 和 TTPA，并将它们统一归纳为应对分布偏移的鲁棒性。
• 为每个类别提供高级 TTA 算法的分类法，并讨论学习场景。
• 分析 TTA 的应用并概述未解决的挑战与未来研究方向。

提出的方法

• 给出 SFDA 方法的分类法，包括伪标签、一致性训练和集成策略。
• 讨论用于 SFDA 的基于数据变异和模型变异的一致性正则化。
• 概述 SFDA、TTBA、OTTA 和 TTPA 的问题定义，并将它们与相关迁移学习话题联系起来。
• 回顾相关学习范式（自监督学习、半监督学习、对比自监督学习、元学习、持续学习）及它们与 TTA 的相关性。
• 总结应用并对新兴趋势和尚待解决的问题进行展望。

实验结果

研究问题

• RQ1 测试时自适应中的不同子问题有哪些，它们如何系统性地分类？
• RQ2 用于 SFDA、TTBA、OTTA 和 TTPA 的主要算法家族及其核心原理是什么？
• RQ3 自监督、半监督和基于一致性的技术如何在分布偏移下提高 TTA 的性能？
• RQ4 未来 TTA 研究的主要开放挑战和有前景的方向是什么？
• RQ5 TTA 方法在真实世界任务中的实际应用与局限性是什么？

主要发现

• SFDA 方法通常使用伪标签，并结合各种去噪、加权和鲁棒损失策略。
• 一致性训练以及数据/模型增强是使目标分布在没有源数据的情况下对齐的核心。
• 一个统一的分类法将 SFDA、TTBA、OTTA 和 TTPA 连接为在分布偏移下的测试时自适应的特殊情况。
• 该综述映射了 SFDA 中使用的多种算法策略（基于质心、基于邻居、基于优化、数据变异以及基于集成）。
• 本文强调开放挑战和未来方向，包括隐私保护的自适应以及持续/在线设置。
• 通过 GitHub 链接提供了一个列出 TTA 方法的社区资源。