[论文解读] Fully Convolutional Pixel Adaptive Image Denoiser

Sungmin Cha, Taesup Moon|arXiv (Cornell University)|Jul 19, 2018

Image and Signal Denoising Methods参考文献 38被引用 4

一句话总结

该论文提出了一种全卷积、像素自适应的图像去噪网络（FC-AIDE），通过每个像素的可学习多项式映射，根据局部图像内容自适应地调整去噪强度。通过利用Stein的无偏风险估计（SURE）推导出真实均方误差的无偏估计，该方法实现了可微分损失的端到端训练，在多个基准数据集上实现了最先进的性能，相较于基线方法显著提升了PSNR。

ABSTRACT

We propose a new image denoising algorithm, dubbed as Fully Convolutional Adaptive Image DEnoiser (FC-AIDE), that can learn from an offline supervised training set with a fully convolutional neural network as well as adaptively fine-tune the supervised model for each given noisy image. We significantly extend the framework of the recently proposed Neural AIDE, which formulates the denoiser to be context-based pixelwise mappings and utilizes the unbiased estimator of MSE for such denoisers. The two main contributions we make are; 1) implementing a novel fully convolutional architecture that boosts the base supervised model, and 2) introducing regularization methods for the adaptive fine-tuning such that a stronger and more robust adaptivity can be attained. As a result, FC-AIDE is shown to possess many desirable features; it outperforms the recent CNN-based state-of-the-art denoisers on all of the benchmark datasets we tested, and gets particularly strong for various challenging scenarios, e.g., with mismatched image/noise characteristics or with scarce supervised training data. The source code of our algorithm is available at https://github.com/csm9493/FC-AIDE-Keras.

研究动机与目标

• 开发一种全卷积、像素自适应的图像去噪方法，根据局部图像内容自适应调整每个像素的去噪强度。
• 通过引入可学习的多项式系数，解决固定去噪强度模型的局限性，实现自适应噪声处理。
• 通过基于SURE的真实MSE无偏估计实现可微分损失，实现端到端训练，提升泛化能力和性能。
• 在包括BSD68、Set12、Urban100和医学图像在内的多样化数据集上，展示卓越的去噪性能。

提出的方法

• 该方法使用全卷积神经网络，通过每个像素的d ∈ {1,2}次多项式映射，根据局部图像统计特性自适应调整去噪强度。
• 提出了一种新颖的损失函数，源自Stein的无偏风险估计（SURE），可在无需真实标签的情况下提供真实MSE的无偏估计。
• 该损失函数设计为可微分，并通过闭式表达式估计雅可比矩阵的迹，从而实现端到端训练。
• 模型采用两阶段训练：先进行监督预训练（FC-AIDE_S），再通过基于SURE的损失进行自适应微调（FC-AIDE_S+FT）。
• 在微调阶段应用自集成数据增强，以提升模型鲁棒性和性能。
• 针对每种噪声水平，通过在独立图像集上的验证，选择ℓ₂-稀疏正则化（ℓ₂-SP）和早停的超参数。

实验结果

研究问题

• RQ1 全卷积、像素自适应的去噪网络是否能通过学习空间变化的去噪系数，实现优于固定强度去噪器的性能？
• RQ2 所提出的基于SURE的损失函数在端到端训练中是否能提供无偏且有效的真实MSE代理？
• RQ3 各个多项式系数（a₀, a₁, a₂）如何贡献于去噪性能？移除它们会产生何种影响？
• RQ4 在微调阶段，数据增强和超参数选择的最优策略是什么，以最大化性能和鲁棒性？
• RQ5 与标准端到端训练相比，基于SURE损失的自适应微调在PSNR和收敛稳定性方面表现如何？

主要发现

• 在σ=25的BSD68数据集上，FC-AIDE_S+FT的PSNR达到29.31 dB，显著优于FC-AIDE_S（27.66 dB）和消融模型FC-AIDE_S+FT(d=2, a₀-only)（19.20 dB）。
• 消融实验确认a₁和a₂系数至关重要：移除后性能降至接近噪声水平（20.46 dB），证明其在自适应去噪中的关键作用。
• 基于SURE的损失在经验上是无偏的，表现为100次噪声实现中MSE减去损失值的直方图集中在零附近。
• 采用自集成数据增强的自适应微调相比无增强或仅使用训练/测试增强的训练，收敛更快且PSNR更高。
• 模型在5个epoch内即达到最大PSNR提升，由于收敛稳定，早停可行，完整微调方案优于所有消融变体。