[论文解读] MDCN: Multi-scale Dense Cross Network for Image Super-Resolution

Juncheng Li, Faming Fang+3 more|arXiv (Cornell University)|Aug 30, 2020

Advanced Image Processing Techniques参考文献 73被引用 7

一句话总结

本文提出MDCN（多尺度密集交叉网络），一种用于单图像超分的神经网络，能够高效利用多尺度特征以及不同上采样因子之间的跨尺度相关性。通过集成多尺度密集交叉块、层级特征蒸馏与动态重建模块，MDCN在模型参数更少、推理时间更短的情况下，实现了优于RCAN等深层模型的SOTA性能，且无需微调即可支持x2、x3、x4等多种上采样因子。

ABSTRACT

Convolutional neural networks have been proven to be of great benefit for single-image super-resolution (SISR). However, previous works do not make full use of multi-scale features and ignore the inter-scale correlation between different upsampling factors, resulting in sub-optimal performance. Instead of blindly increasing the depth of the network, we are committed to mining image features and learning the inter-scale correlation between different upsampling factors. To achieve this, we propose a Multi-scale Dense Cross Network (MDCN), which achieves great performance with fewer parameters and less execution time. MDCN consists of multi-scale dense cross blocks (MDCBs), hierarchical feature distillation block (HFDB), and dynamic reconstruction block (DRB). Among them, MDCB aims to detect multi-scale features and maximize the use of image features flow at different scales, HFDB focuses on adaptively recalibrate channel-wise feature responses to achieve feature distillation, and DRB attempts to reconstruct SR images with different upsampling factors in a single model. It is worth noting that all these modules can run independently. It means that these modules can be selectively plugged into any CNN model to improve model performance. Extensive experiments show that MDCN achieves competitive results in SISR, especially in the reconstruction task with multiple upsampling factors. The code will be provided at https://github.com/MIVRC/MDCN-PyTorch.

研究动机与目标

• 解决现有超分模型在充分利用多尺度特征及不同上采样因子间跨尺度相关性方面的局限性。
• 通过用特征高效模块替代深度厚重架构，降低模型复杂度与推理时间，同时保持性能。
• 设计统一模型，支持x2、x3、x4等多种上采样因子而无需微调，提升实际部署能力。
• 通过层级特征蒸馏与多尺度特征提取，改善深层网络中的特征流动并减少冗余。

提出的方法

• 提出多尺度密集交叉块（MDCBs），在单个模块内结合不同尺度的卷积核，以有效提取与传播多尺度特征。
• 采用层级特征蒸馏块（HFDB），自适应地重新校准通道维度的特征响应，以抑制冗余特征并增强显著表征。
• 提出动态重建块（DRB），学习不同上采样因子之间的跨尺度相关性，使单一模型可生成x2、x3、x4等多种因子的SR图像而无需微调。
• 设计MDCN架构为模块化框架，MDCB、HFDB与DRB可独立插入任意CNN基模型中以提升性能。
• 采用多阶段特征聚合策略，保留并优化多尺度与多深度的特征，提升特征流动与表征能力。
• 采用带动态加权的子像素反卷积处理可变上采样因子，同时建议采用MDCN + 双三次插值的混合策略处理非整数因子。

实验结果

研究问题

• RQ1 通过聚焦特征效率而非网络深度，能否使超分模型在参数更少、推理时间更短的前提下实现竞争力性能？
• RQ2 在不发生特征抑制或冗余的前提下，多尺度特征能否在不同尺度上被有效提取与利用？
• RQ3 通过学习跨尺度相关性，单一深度学习模型能否在不微调的情况下泛化于多种上采样因子（如x2、x3、x4）？
• RQ4 层级特征蒸馏在多尺度超分网络中，能在多大程度上改善特征表征并减少冗余？

主要发现

• MDCN在基准数据集（如DIV2K、Set5）上对x2、x3、x4上采样均取得具有竞争力的PSNR与SSIM结果，性能优于或匹配RCAN、EDSR等SOTA模型。
• 尽管参数量少于RCAN，MDCN在仅需其约1/3推理时间的情况下，仍实现相当或更优性能，展现出卓越效率。
• 得益于学习跨尺度相关性的动态重建块，模型在无需微调的情况下，可在多种上采样因子上保持强性能。
• 大量消融实验表明，MDCB、HFDB与DRB各组件均对性能有显著贡献，其中MDCB在特征提取方面影响最大。
• 模型的模块化设计使其可无缝嵌入其他CNN架构，无需修改网络结构即可提升性能。
• 在DIV2K数据集上，MDCN在×4上达到36.42 dB的PSNR，优于EDSR并接近RCAN，同时参数更少、推理更快。