[论文解读] Zero-shot Blind Image Denoising via Implicit Neural Representations

Chaewon Kim, Jae‐Ho Lee+1 more|arXiv (Cornell University)|Apr 5, 2022

Photoacoustic and Ultrasonic Imaging被引用 7

一句话总结

该论文提出了一种基于隐式神经表示（INRs）的零样本盲图像去噪方法，利用多层感知机（MLP）的网络架构归纳偏置，优先学习低频的干净信号而非高频噪声。通过在深层网络中应用层选择性权重衰减以抑制深层权重，该方法在低噪声和真实噪声场景下均取得了当前最优性能，优于现有的基于盲点的方法（如Self2Self）。

ABSTRACT

Recent denoising algorithms based on the "blind-spot" strategy show impressive blind image denoising performances, without utilizing any external dataset. While the methods excel in recovering highly contaminated images, we observe that such algorithms are often less effective under a low-noise or real noise regime. To address this gap, we propose an alternative denoising strategy that leverages the architectural inductive bias of implicit neural representations (INRs), based on our two findings: (1) INR tends to fit the low-frequency clean image signal faster than the high-frequency noise, and (2) INR layers that are closer to the output play more critical roles in fitting higher-frequency parts. Building on these observations, we propose a denoising algorithm that maximizes the innate denoising capability of INRs by penalizing the growth of deeper layer weights. We show that our method outperforms existing zero-shot denoising methods under an extensive set of low-noise or real-noise scenarios.

研究动机与目标

• 为解决现有零样本盲去噪方法的局限性，特别是其在低噪声或真实噪声条件下的性能不佳问题。
• 探究隐式神经表示（INRs）在盲图像去噪中是否比卷积神经网络架构具有更强的归纳偏置。
• 开发一种去噪策略，利用INR训练过程中清洁信号先于噪声被学习到的时序分离特性。
• 通过惩罚深层INR层来提升去噪性能，这些层最易拟合高频分量。

提出的方法

• 使用基于SIREN的隐式神经表示（INR）将输入的噪声图像参数化为一个连续函数，网络结构包含6个隐层。
• 通过像素坐标训练INR以重建噪声图像，依赖于归纳偏置——即低频干净信号比高频噪声学习得更快。
• 应用层选择性权重衰减正则化，特别针对深层网络，以在训练过程中抑制对噪声的过拟合。
• 从输入图像估计噪声水平，以指导训练过程并确定最佳停止点。
• 基于INR的收敛行为实施早停策略，在完全拟合噪声之前生成去噪输出。
• 利用INRs的连续隐式表示，实现高质量图像重建，无需外部数据集或噪声建模。

实验结果

研究问题

• RQ1 隐式神经表示（INRs）能否作为零样本盲图像去噪中比卷积神经网络架构更有效的归纳先验？
• RQ2 INRs的训练动态是否倾向于先学习干净图像信号再拟合噪声？这一特性是否可用于去噪？
• RQ3 INRs的网络深度如何影响高频图像分量与噪声的学习？
• RQ4 通过选择性抑制深层网络的正则化是否能改善去噪性能，从而减少对噪声的拟合？
• RQ5 在低噪声和真实噪声场景下，所提出的基于INR的方法与当前最先进盲点去噪方法相比表现如何？

主要发现

• 在Set9数据集的低噪声条件下，该INR方法在高斯噪声和泊松-高斯噪声场景下均达到最佳或相当的性能。
• 在FMD和PolyU真实噪声数据集上，INR方法始终优于所有基线模型，包括Self2Self、Noise2Fast、DIP以及Noise2Void/Noise2Self。
• Self2Self在不同噪声水平下的表现不一致，尤其在S=4时表现较差，而INR则展现出稳定且与噪声水平匹配的性能。
• INR模型学习干净图像特征的速度快于噪声，从而在训练过程中形成一个时间窗口，此时输出比原始噪声输入更接近干净图像。
• 层选择性权重衰减显著提升了去噪性能，通过减少深层网络对高频噪声的过拟合。
• 该方法在真实世界噪声设置下表现出强大的泛化能力，而盲点方法因噪声分布非零均值且复杂而失效。