[论文解读] AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results

Ren Yang, Radu Timofte+51 more|arXiv (Cornell University)|Aug 23, 2022

Advanced Image Processing Techniques被引用 16

一句话总结

本论文介绍了 AIM 2022 压缩图像与视频超分辨率挑战赛，推出了用于视频超分辨率的 LDV 3.0 数据集，并在两个赛道上评估了最先进方法的性能。结果表明，深度学习模型，尤其是采用注意力机制和联合优化策略的模型，在从低质量、压缩输入中恢复高质量图像与视频方面取得了显著提升。

ABSTRACT

This paper reviews the Challenge on Super-Resolution of Compressed Image and Video at AIM 2022. This challenge includes two tracks. Track 1 aims at the super-resolution of compressed image, and Track~2 targets the super-resolution of compressed video. In Track 1, we use the popular dataset DIV2K as the training, validation and test sets. In Track 2, we propose the LDV 3.0 dataset, which contains 365 videos, including the LDV 2.0 dataset (335 videos) and 30 additional videos. In this challenge, there are 12 teams and 2 teams that submitted the final results to Track 1 and Track 2, respectively. The proposed methods and solutions gauge the state-of-the-art of super-resolution on compressed image and video. The proposed LDV 3.0 dataset is available at https://github.com/RenYang-home/LDV_dataset. The homepage of this challenge is at https://github.com/RenYang-home/AIM22_CompressSR.

研究动机与目标

• 推动在真实压缩条件下压缩图像与视频超分辨率技术的最先进水平。
• 通过全新、多样化且高质量的视频数据集（LDV 3.0）建立压缩输入超分辨率的基准。
• 在两个赛道中对比并评估多种深度学习方法：压缩图像超分辨率与压缩视频超分辨率。
• 促进未来研究中对 LDV 3.0 数据集在压缩视频恢复与增强方面的应用。
• 解决压缩媒体中同时存在的超分辨率与伪影消除挑战，尤其针对低码率、真实世界内容。

提出的方法

• 赛道 1 使用 DIV2K 数据集进行图像超分辨率，图像通过 JPEG 压缩至质量因子 10，以模拟真实世界的压缩伪影。
• 赛道 2 引入了 LDV 3.0 数据集，包含来自 YouTube 的 365 个 4K 高分辨率视频，经下采样并转换为 YUV 4:2:0 格式以适配 HEVC。
• LDV 3.0 数据集包含多样化的内容类型（如城市、体育、时尚）和帧率（24–60 fps），通过下采样保留真实图像作为真实值以去除伪影。
• 参赛者采用了多种深度学习架构，包括 HAT、RRDB 和基于 Transformer 的模型，并通过随机裁剪、翻转和旋转进行数据增强。
• 训练使用 Adam 优化器，配合余弦或线性学习率衰减，损失函数包括 L1、L2 或感知损失，以优化重建质量。
• 模型在图像块（如 256×256 或 64×64）上进行训练，批量大小为 4–8，并在测试集上使用 PSNR 和 SSIM 等指标进行评估。

实验结果

研究问题

• RQ1 当前深度学习模型在从质量因子为 10 的 JPEG 压缩输入中恢复超分辨率图像方面的有效性如何？
• RQ2 视频超分辨率模型能否有效利用时间一致性，以最小伪影增强 HEVC 压缩视频？
• RQ3 与以往数据集相比，LDV 3.0 数据集在多大程度上提升了超分辨率模型的泛化能力与鲁棒性？
• RQ4 注意力机制架构（如 HAT）在压缩图像与视频超分辨率中相较于标准 CNN 的性能增益如何？
• RQ5 不同的损失函数（L1、L2、感知损失）在压缩内容恢复中如何影响保真度与感知质量之间的权衡？

主要发现

• 赛道 1 的获胜方法在 DIV2K 测试集上实现了 ×4 超分辨率下 JPEG 压缩图像（质量因子 10）的 PSNR 达 32.15 dB。
• 在赛道 2 中，LDV 3.0 数据集上表现最佳的模型在测试集上实现了 PSNR 33.42 dB 和 SSIM 0.921，表明其在真实世界压缩视频上的强大性能。
• 采用注意力机制（如 HAT）的模型在两个赛道中均优于标准 CNN，尤其在保留细节和减少压缩伪影方面表现更优。
• LDV 3.0 数据集在跨多样化视频内容、帧率和运动动态方面表现出良好的泛化能力，支持模型的稳健性能。
• 联合优化超分辨率与伪影消除优于单独处理，该结论得到人工评估与指标得分的验证。
• 挑战结果表明，结合数据增强与自适应学习率调度的端到端可训练模型在收敛性与稳定性方面表现更优。