[论文解读] Joint self-supervised blind denoising and noise estimation

Jean Ollion, Charles Ollion+3 more|arXiv (Cornell University)|Feb 16, 2021

Image and Signal Denoising Methods参考文献 25被引用 6

一句话总结

本文提出一种自监督盲去噪方法，通过仅使用噪声图像联合训练去噪网络（D-net）和噪声分布估计器（N-net），无需干净数据或显式噪声建模。该方法在六个生物医学图像数据集上显著优于当前最先进的自监督方法，通过高斯混合模型准确建模复杂、非对称的噪声分布，实现了更高的PSNR和SSIM，同时减少了伪影。

ABSTRACT

We propose a novel self-supervised image blind denoising approach in which two neural networks jointly predict the clean signal and infer the noise distribution. Assuming that the noisy observations are independent conditionally to the signal, the networks can be jointly trained without clean training data. Therefore, our approach is particularly relevant for biomedical image denoising where the noise is difficult to model precisely and clean training data are usually unavailable. Our method significantly outperforms current state-of-the-art self-supervised blind denoising algorithms, on six publicly available biomedical image datasets. We also show empirically with synthetic noisy data that our model captures the noise distribution efficiently. Finally, the described framework is simple, lightweight and computationally efficient, making it useful in practical cases.

研究动机与目标

• 解决生物医学成像中因缺乏干净训练数据且噪声复杂难以建模而带来的盲去噪挑战。
• 改进现有自监督去噪方法中噪声特性缺乏可解释性以及存在棋盘状伪影等问题。
• 开发一种仅使用噪声观测联合学习干净信号与噪声分布的框架，以提升泛化能力与鲁棒性。
• 提供一种轻量化、高效且可解释的解决方案，适用于实际生物医学图像处理应用。

提出的方法

• 该方法采用两个神经网络：D-net用于去噪，N-net用于估计噪声分布，两者均通过掩码输入块以自监督方式训练。
• 训练基于掩码像素上的重建损失最小化，网络仅利用邻近的噪声观测预测原始像素值。
• N-net将噪声分布建模为高斯混合模型（GMM），能够准确捕捉复杂、非对称且多模态的噪声特征。
• 该框架假设在给定干净信号的条件下，噪声观测条件独立，从而实现无需干净监督的联合训练。
• 掩码策略确保网络学习局部信号结构，而非记忆恒等函数。
• 该方法在数学上基于一种新颖的建模框架，支持信号与噪声分布的联合估计。

实验结果

研究问题

• RQ1 自监督方法能否在不依赖干净训练数据的情况下，联合学习干净信号与噪声分布？
• RQ2 神经网络在真实生物医学图像中能否有效估计复杂、非高斯的噪声分布（如偏斜或多模态分布）？
• RQ3 与仅预测干净信号的标准自监督方法相比，联合估计信号与噪声是否能提升去噪性能？
• RQ4 建模噪声分布对减少高频伪影（如棋盘状图案）有何影响？
• RQ5 所提出的框架能否在具有不同噪声特性的多样化生物医学成像数据集中实现良好泛化？

主要发现

• 在六个生物医学图像数据集上，该方法相比当前最先进的自监督方法DecoNoising，平均PSNR提升+1.42 dB。
• 该方法在PSNR上平均比监督方法CARE高出+1.49 dB，即使在无干净数据的情况下也表现出强劲性能。
• N-net有效捕捉了复杂噪声分布，与单峰高斯分布相比，高斯混合模型（GMM）显著降低了经验噪声分布与预测噪声分布之间的Kullback–Leibler散度。
• 视觉结果表明，该方法生成的图像更平滑、更清晰且细节更丰富，无可见伪影，优于N2V、DecoNoising和高斯滤波。
• 在六个数据集中的两个数据集上，N-net中使用GMM带来了可测量的PSNR提升，表明灵活噪声建模的优势。
• 该框架计算效率高且轻量化，适用于实际生物医学成像流水线中的部署。