[论文解读] Multi-channel Weighted Nuclear Norm Minimization for Real Color Image Denoising

Jun Xu, Lei Zhang+2 more|arXiv (Cornell University)|May 28, 2017

Image and Signal Denoising Methods参考文献 28被引用 39

一句话总结

该论文提出了一种新型的多通道加权核范数最小化（MC-WNNM）框架，用于真实彩色图像去噪，通过通道特异性权重矩阵联合利用通道间冗余性，同时适应R、G、B通道中不同的噪声水平。该方法将问题建模为带有线性等式约束的优化问题，采用ADMM求解并实现闭式更新，实现在合成与真实噪声数据集上的SOTA PSNR性能，相较于先前的WNNM方法平均提升1.94 dB。

ABSTRACT

Most of the existing denoising algorithms are developed for grayscale images, while it is not a trivial work to extend them for color image denoising because the noise statistics in R, G, B channels can be very different for real noisy images. In this paper, we propose a multi-channel (MC) optimization model for real color image denoising under the weighted nuclear norm minimization (WNNM) framework. We concatenate the RGB patches to make use of the channel redundancy, and introduce a weight matrix to balance the data fidelity of the three channels in consideration of their different noise statistics. The proposed MC-WNNM model does not have an analytical solution. We reformulate it into a linear equality-constrained problem and solve it with the alternating direction method of multipliers. Each alternative updating step has closed-form solution and the convergence can be guaranteed. Extensive experiments on both synthetic and real noisy image datasets demonstrate the superiority of the proposed MC-WNNM over state-of-the-art denoising methods.

研究动机与目标

• 解决真实彩色图像去噪中的挑战，即由于相机传感器和处理流程特性，R、G和B通道表现出不同的噪声方差。
• 克服现有方法对所有颜色通道同等处理的局限性，避免产生色差伪影或次优去噪效果。
• 通过联合低秩建模框架利用RGB图像块中的通道间冗余性，同时保留各通道的噪声统计特性。
• 为所得非平凡的多通道去噪模型开发一种可扩展且收敛的优化策略，无需闭式解。

提出的方法

• 将RGB图像块拼接为单个矩阵，以利用通道间的空间与光谱冗余性。
• 在数据保真项中引入对角权重矩阵，根据各通道的独立噪声方差平衡R、G、B通道的贡献。
• 将MC-WNNM模型表述为带有线性等式约束的优化问题，以支持ADMM求解并保证收敛性。
• 采用增广拉格朗日乘子法（ADMM）将问题分解为子问题，每个变量均可获得闭式解。
• 通过加权核范数实现广义软阈值化，以在拼接的RGB图像块矩阵中促进低秩结构。
• 将各通道的噪声水平估计值整合到权重矩阵中，以自适应控制各通道的正则化强度。

实验结果

研究问题

• RQ1 如何在考虑R、G、B通道间不同噪声统计特性的情况下，有效利用RGB图像中的通道间冗余性？
• RQ2 加权核范数最小化框架能否扩展至多通道彩色图像，以在性能上超越单通道WNNM方法？
• RQ3 何种优化策略可实现对非凸、非解析的MC-WNNM模型的高效且收敛的求解？
• RQ4 所提出的MC-WNNM方法在真实噪声图像上的去噪性能是否优于SOTA的灰度与彩色去噪算法？
• RQ5 与同等处理所有通道或使用固定色彩变换的方法相比，所提出方法在视觉质量与PSNR方面表现如何？

主要发现

• 在真实噪声图像数据集[19]上，MC-WNNM的平均PSNR达到37.71 dB，显著优于次优方法WNNM-2的36.88 dB，提升0.83 dB。
• 在15张真实噪声图像上平均而言，MC-WNNM相较于WNNM-2提升1.94 dB，相较于WNNM-3提升0.44 dB，相较于WNNM-1提升0.59 dB。
• 在真实数据集的15张图像中，MC-WNNM在10张图像上取得最高PSNR，表明其在不同相机与ISO条件下均具有一致的优越性。
• 视觉结果表明，MC-WNNM生成的图像更干净且色差伪影极少；而WNNM-2与WNNM-3因对通道同等处理，产生明显的颜色伪影。
• 在Nikon D800 ISO=1600图像上，MC-WNNM的PSNR达到41.43 dB，超过TNRD（40.52 dB）、WNNM-2（41.24 dB）和WNNM-3（40.81 dB），表明其在复杂真实噪声场景下的卓越性能。
• 尽管平均运行时间较长（202.9秒），MC-WNNM仍实现了SOTA结果，表明其在速度与去噪质量之间的权衡是合理的。