[论文解读] Fast and Accurate Single Image Super-Resolution via Information Distillation Network

Hui Zheng, Wang Xiu+1 more|arXiv (Cornell University)|Mar 26, 2018

Advanced Image Processing Techniques参考文献 23被引用 59

一句话总结

本文提出 IDN，一种带有信息蒸馏块的轻量级 CNN，用于快速且准确的单图像超分辨，在实现竞争性的 PSNR/SSIM/IFC 的同时显著降低计算时间。

ABSTRACT

Recently, deep convolutional neural networks (CNNs) have been demonstrated remarkable progress on single image super-resolution. However, as the depth and width of the networks increase, CNN-based super-resolution methods have been faced with the challenges of computational complexity and memory consumption in practice. In order to solve the above questions, we propose a deep but compact convolutional network to directly reconstruct the high resolution image from the original low resolution image. In general, the proposed model consists of three parts, which are feature extraction block, stacked information distillation blocks and reconstruction block respectively. By combining an enhancement unit with a compression unit into a distillation block, the local long and short-path features can be effectively extracted. Specifically, the proposed enhancement unit mixes together two different types of features and the compression unit distills more useful information for the sequential blocks. In addition, the proposed network has the advantage of fast execution due to the comparatively few numbers of filters per layer and the use of group convolution. Experimental results demonstrate that the proposed method is superior to the state-of-the-art methods, especially in terms of time performance.

研究动机与目标

• 推动在单图像超分辨重建（SISR）中降低计算成本和内存消耗，同时保持高重建质量。
• 设计一个紧凑网络（FBlock、DBlocks、RBlock），逐步蒸馏残差信息。
• 引入增强单元和压缩单元，以高效提取和蒸馏特征。
• 使用 MAE 损失进行训练，并以 MSE 损失进行微调以提高重建精度。

提出的方法

• 特征提取块通过两个 3x3 卷积从 LR 输入获得初始特征。
• 叠堆的信息蒸馏块（DBlocks），每个包含一个增强单元（两个浅层的 3 层路径，处理短/长路径特征）和一个压缩单元（1x1 卷积）以蒸馏信息。
• 信息蒸馏块将局部短路径特征与长路径特征混合以丰富表征，随后进行压缩以降低冗余。
• 通过基于转置卷积的重建块，将上采样后的 LR 输入添加到重建的 HR 残差，实现全局残差学习。
• 训练先使用 MAE 损失，然后再用 MSE 损失进行微调以提高精度。

实验结果

研究问题

• RQ1 在标准数据集上，IDN 是否能够实现实时或近实时推理，同时保持高质量的超分辨结果？
• RQ2 增强单元与压缩单元是否能够有效蒸馏并保留有用信息以进行逐步的 HR 重建？
• RQ3 在常见基准上，IDN 在 PSNR、SSIM、IFC 与运行时方面与最先进的超分方法相比如何？

主要发现

• 与最先进方法相比，IDN 在 Set5、Set14、BSD100 和 Urban100 的 PSNR/SSIM/IFC 均具竞争力，且在 PSNR 和 SSIM 上经常位居前列。
• IDN 展示出更快的推理速度，明显快于 MemNet 和 DRRN（例如，在 Urban100 的 2x 放大下，大约比 MemNet 快 500x）。
• 在 Set5 x2 上，IDN 达到 37.83 dB PSNR 和 0.9600 SSIM；x3 为 34.11 dB PSNR 和 0.9253 SSIM；x4 为 31.82 dB PSNR 和 0.8903 SSIM。
• 在 Set14 x2 上，IDN 达到 33.30 dB PSNR 和 0.9148 SSIM；x3 29.99 dB PSNR 和 0.8354 SSIM；x4 28.25 dB PSNR 和 0.7730 SSIM。
• 在 BSD100 和 Urban100 上，IDN 通常在 PSNR/SSIM 上优于若干基线，在 IFC 结果上显示出强感知质量增益（如表 3 所示）。
• 一个紧凑的 31 层网络，使用分组卷积和全局残差结构，在保持有竞争力的重建精度的同时实现实时速度。