[论文解读] A Trilateral Weighted Sparse Coding Scheme for Real-World Image Denoising

Jun Xu, Lei Zhang+1 more|arXiv (Cornell University)|Jul 11, 2018

Image and Signal Denoising Methods被引用 19

一句话总结

本文提出了一种三重加权稀疏编码（TWSC）方案，用于真实世界图像去噪，能够对多通道和局部块中的复杂、信号相关噪声进行建模。通过在稀疏编码框架中引入三个自适应权重矩阵——两个用于数据保真项中的噪声统计，一个用于图像稀疏性——该方法在去噪性能上优于现有最先进方法，在DND数据集上实现了37.94 dB的PSNR和0.9403的SSIM。

ABSTRACT

Most of existing image denoising methods assume the corrupted noise to be additive white Gaussian noise (AWGN). However, the realistic noise in real-world noisy images is much more complex than AWGN, and is hard to be modelled by simple analytical distributions. As a result, many state-of-the-art denoising methods in literature become much less effective when applied to real-world noisy images captured by CCD or CMOS cameras. In this paper, we develop a trilateral weighted sparse coding (TWSC) scheme for robust real-world image denoising. Specifically, we introduce three weight matrices into the data and regularisation terms of the sparse coding framework to characterise the statistics of realistic noise and image priors. TWSC can be reformulated as a linear equality-constrained problem and can be solved by the alternating direction method of multipliers. The existence and uniqueness of the solution and convergence of the proposed algorithm are analysed. Extensive experiments demonstrate that the proposed TWSC scheme outperforms state-of-the-art denoising methods on removing realistic noise.

研究动机与目标

• 解决真实世界图像去噪中的挑战，其中噪声为信号相关性且在不同块和颜色通道间变化。
• 开发一种稀疏编码框架，以自适应方式建模真实世界图像中异质的噪声统计特性。
• 通过将通道特异性和块特异性噪声变化整合到稀疏编码优化中，提升图像去噪性能。
• 通过使用ADMM的结构化优化框架，确保方法的鲁棒性和收敛性。
• 在真实世界噪声图像数据集上超越现有最先进方法。

提出的方法

• TWSC框架引入了三个对角权重矩阵：W₁用于数据保真项中的每块噪声方差，W₂用于通道特异性噪声自适应，W₃用于在正则化项中促进稀疏性。
• 该方法将去噪问题表述为一个可通过交替方向乘子法（ADMM）求解的线性等式约束优化问题。
• 该方法在每次ADMM迭代中求解一个Sylvester方程，且具有解的存在性和唯一性理论保证。
• 权重矩阵通过迭代方式学习：W₁反映局部噪声方差，W₂适应不同块的噪声水平变化，W₃编码图像结构先验。
• 该算法旨在处理真实世界图像中非均匀、异质的噪声，尤其适用于多通道和块级变化的场景。
• 该框架在真实噪声图像上端到端训练，无需每张图像的真值，而是利用图像块中的噪声统计信息。

实验结果

研究问题

• RQ1 如何将稀疏编码扩展以建模真实世界图像中复杂、非高斯、信号相关的噪声？
• RQ2 自适应权重矩阵是否能通过捕捉局部和通道特异性噪声变化来提升去噪性能？
• RQ3 多种加权机制（噪声、稀疏性、结构）的整合如何增强去噪的鲁棒性？
• RQ4 所提出的基于ADMM的优化方案的收敛行为和解的稳定性如何？
• RQ5 所提出的TWSC方法是否在真实世界噪声图像基准测试中优于现有最先进去噪方法？

主要发现

• 所提出的TWSC方法在DND数据集上实现了37.94 dB的PSNR和0.9403的SSIM，优于所有对比方法，包括CBM3D、TNRD、DnCNN和NC。
• 在DND数据集上，TWSC相比第二好的方法（NC）在PSNR上高出0.57 dB，在SSIM上高出0.0209。
• 视觉对比显示，TWSC在高噪声区域和纹理区域产生更清晰的结果，且伪影更少。
• 权重矩阵W₁有效捕捉了局部噪声方差，其值在真实世界图像中各块间显著变化，而在合成AWGN图像中则相对均匀。
• 权重矩阵W₂在优化过程中动态适应，反映各块特异性噪声水平，且在真实世界图像中比在合成图像中更具变化性。
• 尽管处理时间较长（每张512×512图像为195.2秒），TWSC仍实现了最佳性能，证明其在建模复杂噪声方面的有效性。