[论文解读] Multi-bin Trainable Linear Unit for Fast Image Restoration Networks

Shuhang Gu, Radu Timofte+1 more|arXiv (Cornell University)|Jul 30, 2018

Advanced Image Processing Techniques参考文献 31被引用 7

一句话总结

本文提出了一种新型激活函数——多箱可训练线性单元（MTLU），该函数在不增加计算成本的前提下，增强了深度神经网络的非线性建模能力。通过在等距分箱上使用分段线性逼近，MTLU使图像超分辨率和去噪任务中的浅层、快速网络（FSRnet 和 FDnet）得以实现，其峰值信噪比（PSNR）达到当前最先进水平，推理速度最高提升10倍，较DnCNN快15倍。

ABSTRACT

Tremendous advances in image restoration tasks such as denoising and super-resolution have been achieved using neural networks. Such approaches generally employ very deep architectures, large number of parameters, large receptive fields and high nonlinear modeling capacity. In order to obtain efficient and fast image restoration networks one should improve upon the above mentioned requirements. In this paper we propose a novel activation function, the multi-bin trainable linear unit (MTLU), for increasing the nonlinear modeling capacity together with lighter and shallower networks. We validate the proposed fast image restoration networks for image denoising (FDnet) and super-resolution (FSRnet) on standard benchmarks. We achieve large improvements in both memory and runtime over current state-of-the-art for comparable or better PSNR accuracies.

研究动机与目标

• 为在计算资源受限的条件下，设计兼具高速度与强非线性建模能力的图像恢复网络提供解决方案。
• 在不增加模型深度或参数量的前提下，优化基于深度学习的图像超分辨率与去噪任务中的速度-性能权衡。
• 开发一种新型激活函数，以增强模型的表征能力，同时保持低计算开销。
• 构建轻量化网络（FSRnet、FDnet），使其在标准基准测试中，于速度与精度两方面均优于现有快速方法。

提出的方法

• MTLU将激活空间划分为等距分箱，并在每个分箱内使用可学习的线性函数逼近激活函数。
• 参数化方式与逼近精度无关，确保无论分箱分辨率如何，计算成本均保持较低。
• 该方法被集成到浅层、轻量级网络（FSRnet、FDnet）中，用于超分辨率与去噪任务。
• 使用标准优化方法（Adam）在大规模数据集（DIV2K、BSD68）上进行训练，采用权重衰减与批量归一化，并设置学习率衰减策略。
• 通过利用低分辨率特征图，在不增加浮点运算次数（FLOPs）的前提下，保持较大的有效感受野。
• MTLU替代快速网络中的ReLU及其他激活函数，实现更高精度，且无运行时开销。

实验结果

研究问题

• RQ1 能否通过一种新型激活函数，在不增加计算成本的前提下，提升深度神经网络的非线性建模能力？
• RQ2 MTLU能否使图像恢复网络在速度与精度两方面均优于现有快速方法？
• RQ3 MTLU是否能使浅层网络达到与更深的最先进模型相当的性能？
• RQ4 基于MTLU的网络设计如何影响图像超分辨率与去噪任务中的速度-精度权衡？

主要发现

• FSRnet 7 在 Set14（×4）数据集上实现 26.94 dB 的 PSNR，推理时间仅 3.4 ms，比 VDSR 快 10 倍，且 PSNR 相当。
• FSRnet 19 的 PSNR 与 SRResNet 相当（27.26 dB vs. 27.01 dB），但在 Titan X Pascal GPU 上运行速度快 3 倍。
• FDnet（10 层）在 BSD68 数据集上 σ=50 时实现 26.24 dB 的 PSNR，性能与 DnCNN 相当，但推理速度提升 15 倍（5.0 ms vs. 74.8 ms）。
• 如图 1 所示，基于 MTLU 的网络在速度-精度权衡方面表现更优，优于以往快速方法，且未增加运行时间。
• MTLU 在不增加模型深度或参数量的前提下，显著提升了两类任务的性能，充分体现了其高效性与可扩展性。