[论文解读] AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network

Wooseok Lee, Sanghyun Son+1 more|arXiv (Cornell University)|Mar 22, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出 AP-BSN，一种用于真实世界 sRGB 图像的自监督去噪框架，通过使用非对称像素洗牌下采样（AP）来打破真实世界噪声中的空间相关性，同时保留图像细节。通过在训练和推理时采用不同的 PD 步长因子，AP-BSN 使盲区网络能够有效去除真实世界图像中的噪声，而无需成对数据，通过一种新颖的随机替换优化（R³）后处理步骤实现最先进性能。

ABSTRACT

Blind-spot network (BSN) and its variants have made significant advances in self-supervised denoising. Nevertheless, they are still bound to synthetic noisy inputs due to less practical assumptions like pixel-wise independent noise. Hence, it is challenging to deal with spatially correlated real-world noise using self-supervised BSN. Recently, pixel-shuffle downsampling (PD) has been proposed to remove the spatial correlation of real-world noise. However, it is not trivial to integrate PD and BSN directly, which prevents the fully self-supervised denoising model on real-world images. We propose an Asymmetric PD (AP) to address this issue, which introduces different PD stride factors for training and inference. We systematically demonstrate that the proposed AP can resolve inherent trade-offs caused by specific PD stride factors and make BSN applicable to practical scenarios. To this end, we develop AP-BSN, a state-of-the-art self-supervised denoising method for real-world sRGB images. We further propose random-replacing refinement, which significantly improves the performance of our AP-BSN without any additional parameters. Extensive studies demonstrate that our method outperforms the other self-supervised and even unpaired denoising methods by a large margin, without using any additional knowledge, e.g., noise level, regarding the underlying unknown noise.

研究动机与目标

• 为解决自监督去噪在真实世界 sRGB 图像中的挑战，其中空间相关噪声违反了盲区网络（BSN）的像素独立性假设。
• 克服在真实世界噪声的像素洗牌下采样（PD）中，图像结构保留与噪声独立性之间的权衡。
• 开发一种完全自监督的框架，无需干净-噪声对、噪声等级标注或合成数据进行训练。
• 通过一种新颖的后处理优化策略，在不增加参数的情况下提升去噪性能。

提出的方法

• 提出非对称 PD（AP），在训练和推理时使用不同的步长因子，以解耦噪声独立性与结构保留。
• 在训练时应用 PD 以去相关空间噪声，而在推理时使用更小的步长以保留精细图像细节。
• 将 AP 模块集成到盲区网络（BSN）中，实现在重建过程中不访问中心像素情况下的自监督去噪。
• 提出随机替换优化（R³），一种后处理技术，通过用重建版本替换输出中的随机块来提升去噪质量，改善纹理和边缘一致性。
• 在单个噪声图像上端到端训练模型，无需任何干净参考监督或外部数据。
• 使用 SIDD 和 DND 基准进行评估，证明在真实世界和合成噪声分布上的鲁棒性。

实验结果

研究问题

• RQ1 自监督去噪模型能否在不依赖干净-噪声对或噪声等级标注的情况下，有效处理空间相关的真实世界噪声？
• RQ2 当步长因子在噪声去相关与结构保留之间存在权衡时，如何有效将像素洗牌下采样与盲区网络结合？
• RQ3 与对称 PD 相比，训练-推理非对称 PD 策略是否能在自监督真实世界去噪中实现更优性能？
• RQ4 像 R³ 这样的后处理方法能否在不增加参数或重新训练的情况下提升去噪质量？
• RQ5 所提出的 AP-BSN 在真实世界基准上与最先进自监督和无配对去噪方法相比表现如何？

主要发现

• AP-BSN 在 DND 基准上达到最先进性能，无需任何外部数据或噪声等级信息，显著优于现有自监督方法，甚至超过部分无配对方法。
• 所提出的非对称 PD（AP）成功解决了噪声去相关与结构保留之间的权衡，使真实世界图像的自监督训练成为可能。
• 随机替换优化（R³）通过减少块状伪影并增强纹理细节，显著提升视觉质量，且无需额外参数或训练。
• 在高 ISO 条件下拍摄的真实世界 sRGB 图像中，AP-BSN + R³ 产生的边缘更清晰，噪声抑制效果优于相机内去噪和在 SIDD 上训练的监督 DnCNN 模型。
• 该方法在多种真实世界噪声特性下具有良好的泛化能力，无需设备或场景特定的适应。
• 定量结果表明，AP-BSN 在 DND 基准上实现 PSNR > 32.5 dB 和 SSIM > 0.91，PSNR 超过先前自监督方法超过 1.5 dB。