[论文解读] Image Deconvolution via Noise-Tolerant Self-Supervised Inversion

Hirofumi Kobayashi, Ahmet Can Solak+2 more|arXiv (Cornell University)|Jun 11, 2020

Image and Signal Denoising Methods参考文献 23被引用 12

一句话总结

该论文提出了一种抗噪自监督反演框架，用于图像反卷积，无需任何干净的训练数据、信号先验或噪声估计。通过利用$χ$-不变性理论并结合带有掩码的改进自一致性损失，该方法训练一个CNN同时实现去模糊与去噪，在多样化基准数据集上的定量指标和视觉质量均优于经典的Lucy-Richardson方法。

ABSTRACT

We propose a general framework for solving inverse problems in the presence of noise that requires no signal prior, no noise estimate, and no clean training data. We only require that the forward model be available and that the noise be statistically independent across measurement dimensions. We build upon the theory of $\mathcal{J}$-invariant functions (Batson & Royer 2019, arXiv:1901.11365) and show how self-supervised denoising \emph{à la} Noise2Self is a special case of learning a noise-tolerant pseudo-inverse of the identity. We demonstrate our approach by showing how a convolutional neural network can be taught in a self-supervised manner to deconvolve images and surpass in image quality classical inversion schemes such as Lucy-Richardson deconvolution.

研究动机与目标

• 开发一种适用于噪声图像的一般性反问题求解器，避免依赖干净的训练数据或信号先验。
• 将$χ$-不变性框架从去噪扩展至更广泛的反问题，如反卷积。
• 仅使用前向模型和噪声观测，实现CNN在图像反卷积上的端到端训练。
• 在无真实标签的情况下，实现优于经典方法（如Lucy-Richardson和TV正则化求解器）的图像质量。
• 在包含22张真实图像的多样化基准上，通过多种定量与定性指标验证该方法。

提出的方法

• 该方法构建了一种自监督损失，强制前向模型与重建图像之间保持一致性，同时通过掩码被污染区域来抑制噪声。
• 提出了一种改进的自一致性损失，同时奖励精确反演与噪声抑制，避免在重建中放大噪声。
• 核心技术基于$χ$-不变性，即网络学习在测量维度上对噪声保持不变的函数，将Noise2Self推广至反问题。
• 在训练中应用掩码策略，防止网络学习保留噪声，确保对统计噪声独立性的鲁棒性。
• 框架使用可微分的前向模型（如PSF卷积）和可学习的逆向网络（如U-Net），通过反向传播进行训练。
• 该方法在PyTorch中实现，支持2D与3D应用，GPU上单张图像推理时间低于30ms。

实验结果

研究问题

• RQ1 能否训练一个深度神经网络，在无任何干净训练数据的情况下对噪声图像进行反卷积？
• RQ2 自监督学习如何从去噪扩展至如反卷积等一般性反问题？
• RQ3 能否仅使用前向模型和噪声的统计独立性，学习一种抗噪伪逆？
• RQ4 训练期间的掩码是否能防止噪声放大并提升重建保真度？
• RQ5 该方法是否能在无先验假设的情况下，超越经典求解器（如Lucy-Richardson和TV正则化优化）的图像质量？

主要发现

• 所提出的自监督反演（SSI）在所有指标上均表现最佳：在22张图像的基准上，PSNR = 22.5，SSIM = 0.61，MI = 0.14，SMI = 0.27。
• SSI优于采用5次迭代的Lucy-Richardson方法，后者尽管噪声较低但锐度下降，排名第二。
• 该方法实现了近乎即时的推理速度（每张图像0.03秒），显著快于基于CPU的求解器（如共轭梯度和Chambolle-Pock）。
• 即使不使用掩码，SSI模型的表现仍优于预期，得益于前向模型的低通特性，避免了过度的噪声放大。
• 具有重复、典型化模式的图像表现出更高的反卷积质量，表明冗余性有助于自监督学习。
• 该方法具有泛化能力，可应用于任何具有可微分前向模型和噪声不变测量的反问题。