[论文解读] Channel-wise and Spatial Feature Modulation Network for Single Image Super-Resolution

Yanting Hu, Jie Li+2 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Image Processing Techniques参考文献 40被引用 20

一句话总结

该论文提出了一种用于单图像超分的通道与空间特征调制（CSFM）网络，采用级联的特征调制记忆（FMM）模块与通道与空间注意力残差（CSAR）模块，动态增强有用特征并抑制噪声。门控融合机制保留了长期上下文信息，在参数量少于先前方法的情况下实现了最先进性能。

ABSTRACT

The performance of single image super-resolution has achieved significant improvement by utilizing deep convolutional neural networks (CNNs). The features in deep CNN contain different types of information which make different contributions to image reconstruction. However, most CNN-based models lack discriminative ability for different types of information and deal with them equally, which results in the representational capacity of the models being limited. On the other hand, as the depth of neural networks grows, the long-term information coming from preceding layers is easy to be weaken or lost in late layers, which is adverse to super-resolving image. To capture more informative features and maintain long-term information for image super-resolution, we propose a channel-wise and spatial feature modulation (CSFM) network in which a sequence of feature-modulation memory (FMM) modules is cascaded with a densely connected structure to transform low-resolution features to high informative features. In each FMM module, we construct a set of channel-wise and spatial attention residual (CSAR) blocks and stack them in a chain structure to dynamically modulate multi-level features in a global-and-local manner. This feature modulation strategy enables the high contribution information to be enhanced and the redundant information to be suppressed. Meanwhile, for long-term information persistence, a gated fusion (GF) node is attached at the end of the FMM module to adaptively fuse hierarchical features and distill more effective information via the dense skip connections and the gating mechanism. Extensive quantitative and qualitative evaluations on benchmark datasets illustrate the superiority of our proposed method over the state-of-the-art methods.

研究动机与目标

• 为解决CNN在超分任务中表征能力有限的问题，实现对不同类型特征（如高频与低频特征）的判别性处理。
• 通过在各层间保留分层特征，改善深度网络中的长期信息流动。
• 通过级联残差块设计中的联合通道与空间注意力机制，增强特征调制能力。
• 在模型复杂度低于现有方法的前提下，实现更优的重建质量。

提出的方法

• CSFM网络采用密集连接架构，通过堆叠的特征调制记忆（FMM）模块增强特征表征能力。
• 每个FMM模块包含一连串通道与空间注意力残差（CSAR）模块，通过全局与局部注意力机制调制多层级特征。
• CSAR模块在残差学习框架内整合通道注意力与空间注意力，自适应地强调关键特征。
• 在每个FMM模块末端引入门控融合（GF）节点，通过可学习门控与密集跳跃连接融合分层特征。
• 网络采用后上采样方案，在最终上采样前直接处理来自低分辨率输入的特征。
• 模型在基准数据集上使用感知损失与重建损失进行端到端训练。

实验结果

研究问题

• RQ1 深度网络如何更有效地区分并调制超分任务中的不同类型特征（如高频与低频特征）？
• RQ2 何种机制可有效保留极深网络中的长期上下文信息以支持图像复原？
• RQ3 级联注意力机制是否可在不增加模型冗余的前提下提升特征表征能力？
• RQ4 所提出的门控融合机制与标准跳跃连接相比，在保留分层特征方面表现如何？

主要发现

• 在Urban100数据集上，CSFM网络在2×、3×和4×上采样倍数下，分别相较EDSR和RDN实现0.19dB、0.18dB和0.14dB的PSNR提升。
• 在Manga109数据集上，CSFM在2×、3×和4×缩放下分别相较EDSR提升0.21dB、0.32dB和0.29dB，展现出在精细结构图像上的优异性能。
• CSFM模型在PSNR上优于EDSR与RDN，同时参数量分别减少72%与47%，展现出更优的效率。
• 视觉结果表明，CSFM能有效减少伪影与失真，生成更锐利的纹理与更清晰可辨的细节，优于先前方法。
• 消融实验验证了CSAR模块与GF节点对性能提升具有显著贡献。