[论文解读] Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

Zejin Wang, Jiazheng Liu+2 more|arXiv (Cornell University)|Mar 14, 2022

Image and Signal Denoising Methods被引用 13

一句话总结

Blind2Unblind 提出了一种自监督图像去噪框架，通过引入全局感知掩码映射器和可重见损失，消除了基于盲区方法中的信息丢失，实现了在原始噪声图像上端到端的训练，无需身份映射。该方法在合成数据集和真实世界数据集上均取得了最先进性能，尤其在复杂噪声模式下表现优异。

ABSTRACT

Real noisy-clean pairs on a large scale are costly and difficult to obtain. Meanwhile, supervised denoisers trained on synthetic data perform poorly in practice. Self-supervised denoisers, which learn only from single noisy images, solve the data collection problem. However, self-supervised denoising methods, especially blindspot-driven ones, suffer sizable information loss during input or network design. The absence of valuable information dramatically reduces the upper bound of denoising performance. In this paper, we propose a simple yet efficient approach called Blind2Unblind to overcome the information loss in blindspot-driven denoising methods. First, we introduce a global-aware mask mapper that enables global perception and accelerates training. The mask mapper samples all pixels at blind spots on denoised volumes and maps them to the same channel, allowing the loss function to optimize all blind spots at once. Second, we propose a re-visible loss to train the denoising network and make blind spots visible. The denoiser can learn directly from raw noise images without losing information or being trapped in identity mapping. We also theoretically analyze the convergence of the re-visible loss. Extensive experiments on synthetic and real-world datasets demonstrate the superior performance of our approach compared to previous work. Code is available at https://github.com/demonsjin/Blind2Unblind.

研究动机与目标

• 解决由盲区驱动的自监督去噪中导致性能上限受限的信息丢失问题。
• 消除对噪声先验、身份映射或下采样在自监督去噪中的依赖。
• 通过可重见损失使盲区‘可见’，从而实现在完整噪声图像上进行训练。
• 通过全局感知掩码映射器加速收敛并提升盲区去噪中的全局优化性能。
• 为所提出的可重见损失提供理论收敛边界。

提出的方法

• 引入一种全局感知掩码映射器，从盲区采样去噪特征并将其投影到共享通道以实现全局优化。
• 采用可重见损失，使去噪器能够通过掩码图像作为梯度媒介，从原始噪声图像中学习。
• 采用双损失策略：在掩码输入上使用盲区损失，在原始输入上使用可见损失，并在两者之间引入正则化过渡。
• 应用掩码驱动的采样方案，将每张图像划分为具有固定盲区的块，形成用于批量处理的全局掩码体。
• 理论分析表明，可重见损失在收敛性上具有明确定义的上下界。
• 该框架支持无需架构修改即可集成先进去噪网络结构。

实验结果

研究问题

• RQ1 能否通过从掩码区域恢复信息，使盲区去噪变为无损？
• RQ2 如何在不使用身份映射或噪声先验的情况下，对原始噪声图像进行自监督去噪训练？
• RQ3 一种连接盲区与非盲去噪的可重见损失，其收敛行为如何？
• RQ4 全局感知掩码映射器是否能加速盲区去噪的训练并提升性能？
• RQ5 与以往自监督方法相比，该方法在真实世界噪声模式下的泛化能力是否更优？

主要发现

• 在Kodak数据集上，对于高斯噪声（σ=25），Blind2Unblind 达到32.27 dB PSNR，优于次佳方法0.9 dB。
• 在泊松噪声（λ=30）下，该方法达到31.64 dB PSNR，显著优于基于随机掩码的基线方法（29.89 dB），并展现出对复杂噪声的鲁棒性。
• 当λf=20且η=1时，可重见损失表现最优，λf或η值过高会导致性能下降，证实了超参数调优的重要性。
• 全局感知掩码映射器（GM）在各类噪声类型下平均优于随机掩码（RM）1.9 dB，且当与可重见损失结合时，RM无法收敛。
• 消融实验表明，正则项（η）可稳定训练，η=1在所有噪声模式下均取得最佳性能。
• 在具有挑战性的σ∈[5,50]高斯噪声基准上，该方法达到32.34 dB PSNR，展现出对可变噪声水平的强大泛化能力。