[论文解读] Deep Stacked Hierarchical Multi-patch Network for Image Deblurring

Hongguang Zhang, Yuchao Dai+2 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 29被引用 41

一句话总结

本文提出 Deep Multi-Patch Hierarchical Network (DMPHN)，它使用自细到粗、非重叠补丁层次结构来去模糊非均匀运动模糊，实现实时 720p 去模糊，并在 GoPro 上达到最先进的 PSNR/SSIM。它还提出堆叠变体（Stack-DMPHN、Stack-VMPHN）以进一步提升性能。

ABSTRACT

Despite deep end-to-end learning methods have shown their superiority in removing non-uniform motion blur, there still exist major challenges with the current multi-scale and scale-recurrent models: 1) Deconvolution/upsampling operations in the coarse-to-fine scheme result in expensive runtime; 2) Simply increasing the model depth with finer-scale levels cannot improve the quality of deblurring. To tackle the above problems, we present a deep hierarchical multi-patch network inspired by Spatial Pyramid Matching to deal with blurry images via a fine-to-coarse hierarchical representation. To deal with the performance saturation w.r.t. depth, we propose a stacked version of our multi-patch model. Our proposed basic multi-patch model achieves the state-of-the-art performance on the GoPro dataset while enjoying a 40x faster runtime compared to current multi-scale methods. With 30ms to process an image at 1280x720 resolution, it is the first real-time deep motion deblurring model for 720p images at 30fps. For stacked networks, significant improvements (over 1.2dB) are achieved on the GoPro dataset by increasing the network depth. Moreover, by varying the depth of the stacked model, one can adapt the performance and runtime of the same network for different application scenarios.

研究动机与目标

• 动机：用高效、可扩展的去模糊方法解决非均匀运动模糊。
• 提出一种受 Spatial Pyramid Matching 启发的分层多补丁卷积神经网络，用于自细到粗的处理。
• 通过引入堆叠的多补丁网络来克服深度导致的性能饱和。

提出的方法

• 引入一个分层多补丁网络（DMPHN），其编码器-解码器层处理非重叠补丁。
• 处理从最细层开始，并通过残差样连接逐步向更粗层贡献残差信息。
• 采用类似 SP M 的补丁聚合策略，不使用跳跃/循环连接，以实现小卷积核、快速推理。
• 采用端到端损失，仅在最终输出层（level 1）应用，以鼓励对残差信息的学习。
• 探索将 DMPHN 单元堆叠（Stack-DMPHN 和 Stack-VMPHN）以在不产生过大运行时增长的情况下提升性能。

实验结果

研究问题

• RQ1 一个自细到粗的分层多补丁体系结构是否比多尺度或尺度递归方法在去除非均匀运动模糊方面更高效？
• RQ2 将 DMPHN 单元堆叠部署是否在保持可行运行时的同时带来显著的性能提升？
• RQ3 跨层次权重共享对性能和模型大小有何影响？

主要发现

模型	PSNR	SSIM	大小 (MB)	运行时 (s)
Sun et al. [25]	24.64	0.8429	54.1	12000
Nah et al. [17]	29.23	0.9162	303.6	4300
Zhang et al. [29]	29.19	0.9306	37.1	1400
Tao et al. [26]	30.10	0.9323	33.6	1600
DMPHN(1)	28.70	0.9131	7.2	5
DMPHN(1-2)	29.77	0.9286	14.5	9
DMPHN(1-1-1)	28.11	0.9041	21.7	12
DMPHN(1-2-4)	30.21	0.9345	21.7	17
DMPHN(1-4-16)	29.15	0.9217	21.7	92
DMPHN(1-2-4-8)	30.25	0.9351	29.0	30
DMPHN(1-2-4-8-16)	29.87	0.9305	36.2	101
DMPHN	30.21	0.9345	21.7	17
Stack(2)-DMPHN	30.71	0.9403	43.4	37
Stack(3)-DMPHN	31.16	0.9451	65.1	233
Stack(4)-DMPHN	31.20	0.9453	86.8	424
VMPHN	30.90	0.9419	43.4	161
Stack(2)-VMPHN	31.50	0.9483	86.8	552

• DMPHN 在 GoPro 数据集上达到最先进的 PSNR/SSIM，(1-2-4-8) 配置提供最佳结果。
• DMPHN 对 720p 图像以实时运行（在 1280x720 下约 30 ms/图像）。
• 堆叠变体（Stack-DMPHN 与 Stack-VMPHN）在 GoPro 上比基线 DMPHN 提供超过 1 dB 的 PSNR 提升。
• Stack(4)-DMPHN 与 Stack(2)-VMPHN 进一步提升结果，堆叠变体在某些基线方法上提供更快的性能或更接近的性能。
• 模型保持轻量级（例如，DMPHN 编码器/解码器约 3.6 MB），并且在各层之间避免重采样/反卷积等成本高的操作。
• 权重共享在带来适度的 PSNR/SSIM 权衡的同时减少了参数量。