[论文解读] CiaoSR: Continuous Implicit Attention-in-Attention Network for Arbitrary-Scale Image Super-Resolution

Jiezhang Cao, Qin Wang+8 more|arXiv (Cornell University)|Dec 8, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

CiaoSR 提出了一种用于任意尺度图像超分的连续隐式注意力机制网络，通过显式学习基于坐标与视觉特征相似性的特征集成权重，同时结合尺度感知的非局部注意力以增强感受野。该方法在基准数据集上实现了最先进性能，并在尺度内与尺度外分布上均表现出良好的泛化能力，在真实世界设置中也取得了优异结果。

ABSTRACT

Learning continuous image representations is recently gaining popularity for image super-resolution (SR) because of its ability to reconstruct high-resolution images with arbitrary scales from low-resolution inputs. Existing methods mostly ensemble nearby features to predict the new pixel at any queried coordinate in the SR image. Such a local ensemble suffers from some limitations: i) it has no learnable parameters and it neglects the similarity of the visual features; ii) it has a limited receptive field and cannot ensemble relevant features in a large field which are important in an image. To address these issues, this paper proposes a continuous implicit attention-in-attention network, called CiaoSR. We explicitly design an implicit attention network to learn the ensemble weights for the nearby local features. Furthermore, we embed a scale-aware attention in this implicit attention network to exploit additional non-local information. Extensive experiments on benchmark datasets demonstrate CiaoSR significantly outperforms the existing single image SR methods with the same backbone. In addition, CiaoSR also achieves the state-of-the-art performance on the arbitrary-scale SR task. The effectiveness of the method is also demonstrated on the real-world SR setting. More importantly, CiaoSR can be flexibly integrated into any backbone to improve the SR performance.

研究动机与目标

• 为解决现有局部集成方法在任意尺度图像超分中的局限性，这些方法依赖于固定且不可学习的权重，且感受场不足。
• 通过基于坐标距离与视觉特征相似性的可学习注意力权重，改进特征聚合。
• 通过在隐式网络中集成尺度感知的非局部注意力，增强长程上下文建模能力。
• 实现灵活集成至任意现有超分主干网络，以在各种尺度上提升性能。
• 在真实世界超分任务中展示有效性，采用实际退化模型与非参考指标。

提出的方法

• CiaoSR 采用连续隐式注意力机制，通过从局部特征学习集成权重，预测任意查询坐标处的 RGB 值。
• 集成权重通过一个可学习的注意力模块计算，该模块同时考虑查询与关键点坐标之间的欧氏距离以及视觉特征相似性。
• 在隐式注意力中嵌入尺度感知的非局部注意力模块，以捕捉长程依赖关系，扩展感受野至局部区域之外。
• 该方法设计为即插即用，可无缝集成至任意现有超分主干网络（如 RDN 或 SwinIR）。
• 网络采用 L1、感知损失与 GAN 损失进行端到端训练，配合自适应学习率调度与指数移动平均。
• 模型在真实世界退化数据（模糊、噪声、压缩）上进行微调，以实现对真实图像的泛化能力。

实验结果

研究问题

• RQ1 一种联合考虑坐标与视觉特征相似性的可学习隐式注意力机制，是否能在任意尺度超分中超越固定、双线性风格的局部集成方法？
• RQ2 在模型中引入尺度感知的非局部注意力，如何提升在不同尺度因子下的性能与泛化能力？
• RQ3 所提出的 CiaoSR 框架能否灵活集成至多种超分主干网络中，实现性能提升而无需重新训练主干网络？
• RQ4 CiaoSR 是否能有效泛化至尺度外分布及真实世界图像退化模式？
• RQ5 该模型是否能在不依赖真实标签评估的前提下，实现在基准数据集与真实世界超分数据集上的最先进性能？

主要发现

• 在 Urban100 基准测试中，CiaoSR 实现了最先进性能，在 ×2 时 SSIM 达 0.938，×8 时为 0.871；LPIPS 在 ×2 时为 0.100，×8 时为 0.408。
• 在同一基准上，CiaoSR 在所有尺度因子下均优于 MetaSR、LIIF、LTE 与 ITSRN，SSIM 与 LPIPS 表现更优。
• 在 RealSRSet 的真实世界超分任务中，CiaoSR 在 ×8 时 NIQE 为 3.5894，×16 时为 3.9461，优于 RealSR、BSRGAN 与 Real-ESRGAN。
• 视觉对比显示，与基线方法相比，CiaoSR 生成的纹理更清晰，伪影更少，尤其在狗毛、数字等复杂区域表现更优。
• 该模型对尺度外分布泛化能力强，并在具有实际退化特征的真实世界数据集上保持了高感知质量。
• CiaoSR 展现出强大的迁移能力，在无需在真实数据上微调的前提下，同时在合成数据与真实世界数据上均取得优异结果。