[论文解读] Block-Matching Convolutional Neural Network for Image Denoising

Byeongyong Ahn, Nam Ik Cho|arXiv (Cornell University)|Apr 3, 2017

Image and Signal Denoising Methods参考文献 37被引用 26

一句话总结

本文提出块匹配卷积神经网络（BMCNN），一种混合图像去噪方法，通过将非局部自相似性（NSS）先验与深度学习相结合，将相似块分组为三维块。该方法使用预去噪图像作为块匹配的引导信号，随后训练CNN对三维块组进行去噪，从而在规则与非规则图像结构上均实现了最先进性能。

ABSTRACT

There are two main streams in up-to-date image denoising algorithms: non-local self similarity (NSS) prior based methods and convolutional neural network (CNN) based methods. The NSS based methods are favorable on images with regular and repetitive patterns while the CNN based methods perform better on irregular structures. In this paper, we propose a block-matching convolutional neural network (BMCNN) method that combines NSS prior and CNN. Initially, similar local patches in the input image are integrated into a 3D block. In order to prevent the noise from messing up the block matching, we first apply an existing denoising algorithm on the noisy image. The denoised image is employed as a pilot signal for the block matching, and then denoising function for the block is learned by a CNN structure. Experimental results show that the proposed BMCNN algorithm achieves state-of-the-art performance. In detail, BMCNN can restore both repetitive and irregular structures.

研究动机与目标

• 为克服纯CNN去噪方法的局限性，后者无法有效利用非局部自相似性（NSS），且在规则、重复性图案上表现欠佳。
• 解决传统NSS方法的刚性问题，后者依赖手工设计的先验并需手动调参。
• 开发一种数据驱动框架，联合利用局部CNN学习与全局NSS结构，以提升去噪性能。
• 实现端到端学习最优去噪函数，同时兼顾局部块特征与全局自相似模式。

提出的方法

• 对噪声输入图像应用现有去噪算法（如DnCNN或BM3D）以生成块匹配的引导信号。
• 在引导信号上执行块匹配，将相似局部块分组为三维数组，保留空间关系。
• 训练3D-CNN将相似块的三维块映射为去噪输出，学习数据驱动的去噪函数。
• 采用20×20的块大小作为最优选择，平衡信息量与匹配精度。
• 采用约块大小一半的步长，以平衡计算成本与重建质量。
• 使用加权平均方案将去噪后的三维块重新整合到图像中，重建最终干净图像。

实验结果

研究问题

• RQ1 将非局部自相似性（NSS）与深度CNN学习相结合，是否能提升在规则与非规则图像结构上的图像去噪性能？
• RQ2 在噪声条件下，使用预去噪图像作为块匹配的引导信号，对块相似性检测的准确性有何影响？
• RQ3 在所提出的BMCNN框架中，平衡去噪性能与计算效率的最优块大小与步长是什么？
• RQ4 BMCNN的性能更依赖于网络架构，还是块匹配预处理方法的选择？

主要发现

• BMCNN在所有测试数据集上均达到最先进性能，在Set12基准上的平均PSNR为30.98 dB，优于纯CNN与传统NSS方法。
• 该方法在具有规则与重复结构的图像（如Barbara、House）上显著提升性能，而纯CNN方法通常表现欠佳。
• 使用BM3D作为预处理方法在某些图像（如Barbara、House）上略优于DnCNN，但总体平均PSNR几乎相同（30.97 dB），表明对预处理选择具有鲁棒性。
• 20×20的块大小在信息量与匹配精度之间实现最佳平衡，优于10×10与40×40的块。
• 步长为10（即20×20块大小的一半）在重建质量与计算成本之间达到最优平衡，PSNR下降极小，同时显著降低运行时间。
• BMCNN框架计算效率高，在256×256图像上运行时间为1.603秒，在512×512图像上为5.777秒，具备实时应用潜力。