[论文解读] Efficient Residual Dense Block Search for Image Super-Resolution

Dehua Song, Chang Xu+4 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image Processing Techniques参考文献 24被引用 12

一句话总结

本文提出一种用于高效图像超分的进化神经架构搜索方法，采用自定义设计的残差密集块（CRDB、SRDB、GRDB）与块信用引导的变异机制，以优化速度、精度和模型大小。该方法在显著降低FLOPs和参数量的同时，实现了SOTA性能，在基准数据集上优于现有模型。

ABSTRACT

Although remarkable progress has been made on single image super-resolution due to the revival of deep convolutional neural networks, deep learning methods are confronted with the challenges of computation and memory consumption in practice, especially for mobile devices. Focusing on this issue, we propose an efficient residual dense block search algorithm with multiple objectives to hunt for fast, lightweight and accurate networks for image super-resolution. Firstly, to accelerate super-resolution network, we exploit the variation of feature scale adequately with the proposed efficient residual dense blocks. In the proposed evolutionary algorithm, the locations of pooling and upsampling operator are searched automatically. Secondly, network architecture is evolved with the guidance of block credits to acquire accurate super-resolution network. The block credit reflects the effect of current block and is earned during model evaluation process. It guides the evolution by weighing the sampling probability of mutation to favor admirable blocks. Extensive experimental results demonstrate the effectiveness of the proposed searching method and the found efficient super-resolution models achieve better performance than the state-of-the-art methods with limited number of parameters and FLOPs.

研究动机与目标

• 解决基于深度学习的超分模型在移动设备上计算和内存开销过高的问题。
• 设计高效残差密集块，以减少参数量和FLOPs，同时保持性能。
• 开发一种多目标神经架构搜索框架，以同时优化精度、速度和模型大小。
• 提出块信用作为动态指标，引导进化搜索向高性能块演进。
• 在FLOPs和参数量的严格约束下，实现SOTA级别的超分性能。

提出的方法

• 提出三种新型残差密集块——上下文残差密集块（CRDB）、压缩残差密集块（SRDB）和分组残差密集块（GRDB），通过通道剪枝、滤波器优化和特征尺度调控降低模型复杂度。
• 采用进化算法搜索最优网络架构，其中池化与上采样位置在搜索过程中自动确定。
• 引入块信用作为模型评估期间获得的性能指标，通过提高高信用块的采样概率来引导变异操作。
• 采用引导式进化策略，优先选择信用更高的块，从而加速收敛并提升搜索效率。
• 在预定义的块空间内搜索最优块类型与排列方式，偏好不同块类型的交叉排列以提升性能。
• 在残差密集块框架中通过池化与上采样实现特征尺度变化，以平衡信息保留与计算效率。

实验结果

研究问题

• RQ1 进化架构搜索方法能否有效同时优化超分网络的速度、精度和模型大小？
• RQ2 在残差密集块中集成池化操作对超分任务的性能与效率有何影响？
• RQ3 块信用在多大程度上能提升神经架构搜索在超分任务中的效率与效果？
• RQ4 在严格的FLOPs和参数量约束下，所提出的块结构与搜索策略能否超越人工设计及现有NAS-based超分模型？
• RQ5 不同块类型（CRDB、SRDB、GRDB）的最优排列方式为何种，可最大化超分性能？

主要发现

• 所提出的ESRN与ESRN-V模型在多个基准数据集（Set5、Set14、Urban100、Manga109）上实现了SOTA的PSNR与SSIM指标，且FLOPs与参数量相当或更低。
• 在Urban100数据集×2超分任务中，ESRN-V的PSNR比FALSR高出0.51 dB，且参数量与Multi-Adds更少。
• ESRN-F变体在全部四个基准数据集上的PSNR略优于FALSR-A，但Multi-Adds约为其一半。
• 视觉对比显示，所提模型在复杂纹理与边缘区域产生的边缘更清晰，伪影更少，优于对比方法。
• 采用块信用引导的进化算法显著加速收敛，并生成比随机变异策略更优的网络架构。
• 搜索过程表明，不同块类型（如CRDB与SRDB）的交叉排列相比同质块序列，能带来更优的性能表现。