[论文解读] Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction

Zeshuai Deng, Zhuokun Chen+4 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出SRTTA，一种用于图像超分的快速测试时自适应框架，通过采用二阶退化方案和自监督特征重建来解决域偏移问题。它利用预训练分类器识别退化类型，从二阶退化图像中生成伪配对数据，并以极低计算量高效适应SR模型，在多种真实世界和合成退化类型上实现最先进性能。

ABSTRACT

Image super-resolution (SR) aims to learn a mapping from low-resolution (LR) to high-resolution (HR) using paired HR-LR training images. Conventional SR methods typically gather the paired training data by synthesizing LR images from HR images using a predetermined degradation model, e.g., Bicubic down-sampling. However, the realistic degradation type of test images may mismatch with the training-time degradation type due to the dynamic changes of the real-world scenarios, resulting in inferior-quality SR images. To address this, existing methods attempt to estimate the degradation model and train an image-specific model, which, however, is quite time-consuming and impracticable to handle rapidly changing domain shifts. Moreover, these methods largely concentrate on the estimation of one degradation type (e.g., blur degradation), overlooking other degradation types like noise and JPEG in real-world test-time scenarios, thus limiting their practicality. To tackle these problems, we present an efficient test-time adaptation framework for SR, named SRTTA, which is able to quickly adapt SR models to test domains with different/unknown degradation types. Specifically, we design a second-order degradation scheme to construct paired data based on the degradation type of the test image, which is predicted by a pre-trained degradation classifier. Then, we adapt the SR model by implementing feature-level reconstruction learning from the initial test image to its second-order degraded counterparts, which helps the SR model generate plausible HR images. Extensive experiments are conducted on newly synthesized corrupted DIV2K datasets with 8 different degradations and several real-world datasets, demonstrating that our SRTTA framework achieves an impressive improvement over existing methods with satisfying speed. The source code is available at https://github.com/DengZeshuai/SRTTA.

研究动机与目标

• 解决测试时退化与训练时退化模型不同的超分领域偏移问题。
• 在无法访问源训练数据的情况下，实现预训练SR模型对未知或多种退化类型（如模糊、噪声、JPEG）的快速适应。
• 通过最小化迭代优化，克服现有零样本和元学习自适应方法的高推理成本。
• 通过自监督重建损失提升对多样化真实世界退化类型的鲁棒性和泛化能力。
• 在自适应过程中保留预训练模型的知识，防止灾难性遗忘。

提出的方法

• 提出二阶退化方案以生成伪配对训练数据：使用随机采样的退化类型对测试图像进行两次退化，生成二阶退化图像。
• 使用预训练退化分类器识别测试图像中的主要退化类型，指导二阶退化的选取。
• 设计自监督的二阶重建损失，对齐测试图像与其二阶退化对应图像之间的特征，实现在无真实HR图像情况下的有效自适应。
• 应用特征级重建学习，利用伪配对数据微调SR模型，使模型能够学习逆转多种退化类型。
• 引入自适应参数保持策略，在自适应过程中维持预训练模型的知识，减少遗忘并提升稳定性。
• 该方法仅需一次前向传播，使其在退化类型快速变化的动态环境下具备高度实时部署效率。

实验结果

研究问题

• RQ1 在无法访问源训练数据的情况下，测试时自适应框架能否有效处理超分中未知或多种退化类型？
• RQ2 如何高效构建伪配对数据，以实现SR模型对多样化退化类型的快速且有效的自适应？
• RQ3 与一阶或单重退化方法相比，二阶退化和重建学习能否提升SR模型对复杂真实世界退化类型的鲁棒性？
• RQ4 与现有零样本或元学习方法相比，所提方法在保持或提升图像质量的同时，能在多大程度上减少自适应时间？
• RQ5 在合成和真实世界设置下，该方法在模糊、噪声和JPEG伪影等多种退化类型上的泛化能力如何？

主要发现

• 在新构建的DIV2K-C数据集（含8种不同退化类型）上，SRTTA在PSNR和LPIPS指标上均达到最先进性能，优于现有方法。
• 在真实世界数据集（如DPED、ADE20K和OST300）上，SRTTA生成的HR图像在伪影更少、原始图像细节保留更优方面，持续优于基线模型。
• 即使测试图像包含多种退化类型，SRTTA在高挑战性退化类型（如高斯模糊、噪声和JPEG压缩）下仍实现显著性能提升。
• SRTTA将自适应时间缩短至接近瞬时推理速度，使模型能够在退化类型快速变化的动态环境中实现实时部署。
• 消融实验表明，二阶退化方案和重建损失是关键组件，移除后性能显著下降。
• 自适应参数保持策略有效缓解了灾难性遗忘，在长期部署场景中多次自适应步骤下仍能保持高性能。