[论文解读] A Matrix-in-matrix Neural Network for Image Super Resolution

Hailong Ma, Xiangxiang Chu+3 more|arXiv (Cornell University)|Mar 19, 2019

Advanced Image Processing Techniques参考文献 39被引用 4

一句话总结

该论文提出MCAN，一种用于单图像超分辨率的轻量化矩阵-矩阵神经网络，通过多连接通道注意力模块（MCAB）分层利用中间特征。该方法在参数量和乘加操作数显著少于先前模型（包括CARN和FALSR）的情况下，实现了最先进（SOTA）的PSNR性能，同时通过使用快速Sigmoid变体（MCAN-FAST）在移动设备上保持高效。

ABSTRACT

In recent years, deep learning methods have achieved impressive results with higher peak signal-to-noise ratio in single image super-resolution (SISR) tasks by utilizing deeper layers. However, their application is quite limited since they require high computing power. In addition, most of the existing methods rarely take full advantage of the intermediate features which are helpful for restoration. To address these issues, we propose a moderate-size SISR net work named matrixed channel attention network (MCAN) by constructing a matrix ensemble of multi-connected channel attention blocks (MCAB). Several models of different sizes are released to meet various practical requirements. Conclusions can be drawn from our extensive benchmark experiments that the proposed models achieve better performance with much fewer multiply-adds and parameters. Our models will be made publicly available.

研究动机与目标

• 通过设计轻量化架构，解决深度超分辨率网络的高计算成本问题。
• 提升中间层的特征利用效率，以增强图像恢复质量。
• 在减少模型大小和FLOPs的同时，实现优于现有轻量化模型的PSNR性能。
• 通过为定点运算单元优化Sigmoid激活函数，实现在移动设备上的高效部署。
• 提供多种模型变体（MCAN-M、MCAN-S、MCAN-T），以满足不同应用场景的需求。

提出的方法

• 提出多连接通道注意力模块（MCAB），通过在每次激活后添加残差连接，实现在多个深度和宽度上的分层特征流动。
• 通过堆叠MCAB构建矩阵-矩阵（MIM）结构，形成非线性映射模块，通过深度和广度的信息传播增强特征学习。
• 引入边缘特征融合（EFF）模块，将低分辨率特征与MIM输出融合，以更好地利用来自低分辨率空间的分层特征。
• 设计快速Sigmoid函数（f_fast(x) = x / (1 + |x|)），替代标准Sigmoid，显著降低移动DSP上的计算成本，同时保持精度损失可忽略。
• 使用标准超分辨率损失函数并结合数据增强进行网络训练与调优，以在基准数据集上优化PSNR。
• 通过调整滤波器数量和分组卷积，推出三种模型变体——MCAN-M、MCAN-S、MCAN-T，以实现不同效率与精度权衡。

实验结果

研究问题

• RQ1 轻量化超分辨率网络是否能在参数量和乘加操作数更少的情况下实现最先进PSNR性能？
• RQ2 矩阵-矩阵（MIM）结构在通过分层连接增强特征表示方面有多有效？
• RQ3 边缘特征融合（EFF）模块在将低分辨率特征与中间特征融合后，性能提升程度如何？
• RQ4 用快速Sigmoid变体替代Sigmoid函数，是否能在保持高精度的同时提升移动设备上的推理速度？
• RQ5 在不同模型尺寸下，所提模型与CARN、FALSR、LapSRN等现有SOTA模型相比，在性能与效率方面表现如何？

主要发现

• MCAN-M在PSNR上优于CARN-M，同时乘加操作数和参数量约为其一半。
• MCAN-S在×2任务上相比LapSRN平均提升0.5 dB PSNR，在×4任务上提升0.4 dB，尽管模型大小仅为一半。
• MCAN-T在相同乘加操作数水平下超越FSRCNN所有任务，展现出在实时应用中的强大效率。
• 消融实验表明，MIM结构使PSNR提升0.81 dB（从29.44提升至30.25 dB），加入EFF后进一步提升至30.28 dB。
• MCAN-FAST在PSNR上与MCAN几乎相同，但在移动设备（尤其是定点运算单元）上显著降低推理成本。
• MCAN全系列模型在相同或更大的FLOP预算下，全面超越所有列出的SOTA模型（包括MoreMNAS-A和FALSR-A），在轻量化领域确立了新的SOTA标准。