[论文解读] MaxSR: Image Super-Resolution Using Improved MaxViT

Bin-Cheng Yang, Gangshan Wu|arXiv (Cornell University)|Jul 14, 2023

Advanced Image Processing Techniques被引用 5

一句话总结

MaxSR 提出了一种基于改进 MaxViT 架构的新颖图像超分辨率模型，引入自适应块注意力与网格注意力机制，以高效建模低分辨率图像中的全局自相似性。该方法在经典与轻量级超分辨率基准上均实现了最先进性能，优于以往方法，同时保持计算效率，且无需相对位置嵌入。

ABSTRACT

While transformer models have been demonstrated to be effective for natural language processing tasks and high-level vision tasks, only a few attempts have been made to use powerful transformer models for single image super-resolution. Because transformer models have powerful representation capacity and the in-built self-attention mechanisms in transformer models help to leverage self-similarity prior in input low-resolution image to improve performance for single image super-resolution, we present a single image super-resolution model based on recent hybrid vision transformer of MaxViT, named as MaxSR. MaxSR consists of four parts, a shallow feature extraction block, multiple cascaded adaptive MaxViT blocks to extract deep hierarchical features and model global self-similarity from low-level features efficiently, a hierarchical feature fusion block, and finally a reconstruction block. The key component of MaxSR, i.e., adaptive MaxViT block, is based on MaxViT block which mixes MBConv with squeeze-and-excitation, block attention and grid attention. In order to achieve better global modelling of self-similarity in input low-resolution image, we improve block attention and grid attention in MaxViT block to adaptive block attention and adaptive grid attention which do self-attention inside each window across all grids and each grid across all windows respectively in the most efficient way. We instantiate proposed model for classical single image super-resolution (MaxSR) and lightweight single image super-resolution (MaxSR-light). Experiments show that our MaxSR and MaxSR-light establish new state-of-the-art performance efficiently.

研究动机与目标

• 为解决在单图像超分辨率（SISR）任务中高效利用 Transformer 架构强大的表征能力与自相似性建模能力的挑战。
• 通过设计一种自适应注意力机制，克服标准自注意力在高分辨率特征图上的二次方计算复杂度，实现在亚二次复杂度下保持全局建模能力。
• 通过改进 MaxViT 中的块与网格注意力机制，实现窗口与网格间信息的动态、高效融合，从而提升 SISR 性能。
• 开发高性能的 MaxSR 与轻量级变体 MaxSR-light，使其在多个基准数据集上均实现最先进性能。

提出的方法

• 模型架构由浅层特征提取模块、多个级联的自适应 MaxViT 块、分层特征融合模块，以及使用像素洗牌与卷积层的重建模块组成。
• 核心创新在于自适应 MaxViT 块，其将 MaxViT 中固定的块与网格注意力替换为可自适应的版本，实现每个网格内所有窗口及每个窗口内所有网格的信息动态整合。
• 自适应块注意力在每个窗口内对所有网格计算自注意力，而自适应网格注意力在每个网格内对所有窗口计算自注意力，从而实现高效的全局特征建模。
• 自适应注意力机制被设计为在空间特征图大小上达到最优的亚二次复杂度，平衡长距离依赖建模与计算效率。
• 训练时采用 128×128 的大感受野补丁以在训练中区分自适应与固定注意力机制，批量大小调整为 8 以维持数据吞吐量。
• 提出两种变体：用于经典 SISR 的 MaxSR 与用于轻量级 SISR 的 MaxSR-light，二者均在标准基准上实现最先进性能。

实验结果

研究问题

• RQ1 视觉 Transformer 中的自适应自注意力机制是否能在保持计算效率的同时，提升单图像超分辨率任务中的全局特征建模能力？
• RQ2 所提出的自适应 MaxViT 块相较于原始的固定注意力 MaxViT 块，在 SISR 任务中的性能与效率表现如何？
• RQ3 改进后的注意力机制在多大程度上可增强低分辨率图像中的自相似性建模，从而提升重建质量？
• RQ4 所提出的 MaxSR 与 MaxSR-light 模型是否能在不依赖相对位置嵌入的情况下，实现在标准 SISR 基准上的最先进性能？

主要发现

• MaxSR 在所有五个经典图像超分辨率基准数据集上均达到新的最先进性能，优于 EDSR、RCAN、RRDB、SwinIR 和 IPT 等方法。
• MaxSR-light 在轻量级 SISR 基准上建立了新的最先进结果，超越 DRRN、CARN、IMDN 与 SwinIR-light 等模型。
• 消融实验表明，自适应 MaxViT 块相较于固定注意力版本显著提升性能，BP-MaxSR 在所有数据集上均优于 BP-Fix-SA-Tr-Fix-SA-Te。
• 仅在推理阶段使用自适应注意力（BP-Fix-SA-Tr-Ada-SA-Te）的设置，性能也优于固定注意力基线，证明了自适应机制的优势。
• 添加相对位置嵌入（BP-MaxSR-RPE）可进一步提升性能，但主干 MaxSR 模型在不使用该组件的情况下仍达到最先进性能，优先保障效率。
• 在 Set14 与 Urban100 上的视觉对比显示，MaxSR 生成的图像边缘更清晰，纹理更丰富，且伪影与模糊效应更少，优于对比方法。