[论文解读] Exploring Multi-Scale Feature Propagation and Communication for Image Super Resolution

Ruicheng Feng, Weipeng Guan+2 more|arXiv (Cornell University)|Aug 1, 2020

Advanced Image Processing Techniques参考文献 12被引用 12

一句话总结

本文提出 MS³-Conv，一种多尺度卷积单元，通过实现高效的特征传播和跨尺度通信，提升图像超分辨率性能。其参数量仅为标准卷积的25%，计算量减少67%，尤其在重建网格、条纹等高频细节方面表现卓越。

ABSTRACT

Multi-scale techniques have achieved great success in a wide range of computer vision tasks. However, while this technique is incorporated in existing works, there still lacks a comprehensive investigation on variants of multi-scale convolution in image super resolution. In this work, we present a unified formulation over widely-used multi-scale structures. With this framework, we systematically explore the two factors of multi-scale convolution -- feature propagation and cross-scale communication. Based on the investigation, we propose a generic and efficient multi-scale convolution unit -- Multi-Scale cross-Scale Share-weights convolution (MS$^3$-Conv). Extensive experiments demonstrate that the proposed MS$^3$-Conv can achieve better SR performance than the standard convolution with less parameters and computational cost. Beyond quantitative analysis, we comprehensively study the visual quality, which shows that MS$^3$-Conv behave better to recover high-frequency details.

研究动机与目标

• 系统研究多尺度卷积在图像超分辨率中的作用，重点关注特征传播与跨尺度通信。
• 解决现有超分辨率方法中对多尺度结构缺乏全面分析的问题。
• 设计一种通用、高效且即插即用的多尺度卷积单元，其性能在准确率与效率上均优于标准卷积。
• 在PSNR之外评估视觉质量，尤其关注细纹理与高频图案的恢复能力。
• 证明即使PSNR值与单尺度基线相近，多尺度网络仍能实现更优的感知质量。

提出的方法

• 提出统一的多尺度卷积结构公式，通过共享变换函数涵盖U-Net、Octave与Multi-grid卷积。
• 采用渐进式设计：从基础多尺度卷积（MS-Conv）开始，逐步增加双向跨尺度连接（MS²-Conv），最终引入共享权重与更小卷积核（MS³-Conv）。
• 在高、低尺度滤波器间共享权重，以减少参数量，同时保持性能。
• 采用多分支架构，使特征在多个尺度上处理，并通过专用的跨尺度滤波器实现尺度间信息交换。
• 将MS³-Conv单元作为即插即用模块，替换SOTA网络（如SRResNet与CARN）中的标准卷积，实现直接对比。
• 在多个数据集与缩放因子下进行消融实验与视觉对比，验证设计选择的有效性。

实验结果

研究问题

• RQ1 特征传播与跨尺度通信如何影响多尺度卷积在超分辨率中的性能？
• RQ2 能否构建统一框架，解释U-Net、Octave与Multi-grid等多样化多尺度卷积架构？
• RQ3 多尺度超分辨率网络中，模型效率（参数量与FLOPs）与性能之间的最优权衡为何？
• RQ4 多尺度网络与单尺度基线相比，在视觉质量上表现如何，尤其在网格、条纹等高频纹理上？
• RQ5 PSNR值在多大程度上能反映超分辨率结果的感知图像质量？

主要发现

• 在DIV2K数据集上，MS³-Conv仅使用0.45M参数与15.06G FLOPs，PSNR达到32.02，尽管PSNR与基线相近，但视觉质量更优。
• 与标准卷积基线相比，MS³-Conv变体在保持竞争力PSNR的同时，计算量降低67%，参数量减少75%。
• 在DIV2K数据集上，当应用于CARN时，MS³-Conv以1.03M参数实现32.14的PSNR，优于原始CARN模型在细节恢复方面的表现。
• 视觉对比显示，MS³-Conv能持续恢复如格栅与斑马条纹等高频结构，而标准卷积则产生错误或模糊的图案。
• 即使在平坦区域（如图像0830）PSNR下降3.4 dB，MS³-Conv输出仍与基线在感知上无法区分，表明PSNR并非视觉质量的可靠代理指标。
• 在较低缩放因子（0.5）下，标准卷积出现混叠与结构丢失，而MS³-Conv能有效保留图案，展现出对尺度变化的鲁棒性。