[论文解读] FINO: Flow-based Joint Image and Noise Model

Lanqing Guo, Siyu Huang+2 more|arXiv (Cornell University)|Nov 11, 2021

Image and Signal Denoising Methods参考文献 29被引用 4

一句话总结

FINO 提出了一种基于流的生成模型，通过在潜在空间中显式解耦干净图像与噪声，利用可逆归一化流联合学习图像和噪声分布。通过引入噪声相关性约束和通过变量互换实现的结构对齐，FINO 在合成与真实世界去噪基准上均达到最先进性能，对空间异质性及估计不准确的噪声具有更优的泛化能力。

ABSTRACT

One of the fundamental challenges in image restoration is denoising, where the objective is to estimate the clean image from its noisy measurements. To tackle such an ill-posed inverse problem, the existing denoising approaches generally focus on exploiting effective natural image priors. The utilization and analysis of the noise model are often ignored, although the noise model can provide complementary information to the denoising algorithms. In this paper, we propose a novel Flow-based joint Image and NOise model (FINO) that distinctly decouples the image and noise in the latent space and losslessly reconstructs them via a series of invertible transformations. We further present a variable swapping strategy to align structural information in images and a noise correlation matrix to constrain the noise based on spatially minimized correlation information. Experimental results demonstrate FINO's capacity to remove both synthetic additive white Gaussian noise (AWGN) and real noise. Furthermore, the generalization of FINO to the removal of spatially variant noise and noise with inaccurate estimation surpasses that of the popular and state-of-the-art methods by large margins.

研究动机与目标

• 解决现有去噪方法仅关注图像先验而忽略显式噪声建模的局限性。
• 开发一个统一框架，联合建模干净图像与噪声的分布，利用两者之间的互补信息。
• 通过可逆变换实现在潜在空间中对图像与噪声成分的有效解耦。
• 通过引入噪声相关性约束和结构对齐，提升对真实世界噪声和非均匀噪声的泛化能力。
• 实现无需外部噪声估计的盲去噪，增强实际应用性。

提出的方法

• 采用基于流的可逆神经网络，实现噪声图像与潜在空间之间无损的双射变换，使图像与噪声成分在潜在空间中实现解耦。
• 引入变量互换策略，对齐重建图像与真实图像之间的结构内容，提升特征层面的一致性。
• 应用噪声相关性矩阵约束，强制相邻区域之间噪声为空间独立，将噪声建模为不相关。
• 使用多组件损失进行模型训练：图像与噪声的重建损失、结构对齐的内容损失，以及分布一致性噪声建模损失。
• 通过联合优化图像先验学习与噪声分布建模，实现训练过程的解耦，同时在单一端到端框架中完成。
• 通过稳健的联合建模，消除对显式噪声水平估计的需求，实现盲去噪。

实验结果

研究问题

• RQ1 显式联合建模图像与噪声分布是否能超越仅依赖图像先验的去噪性能？
• RQ2 可逆流在共享潜在空间中解耦图像与噪声成分的效率如何，同时保持结构保真度？
• RQ3 强制实施空间不相关噪声建模在提升对真实世界及非均匀噪声的鲁棒性方面效果如何？
• RQ4 所提出的变量互换策略是否能有效提升不同噪声水平下的结构对齐与泛化能力？
• RQ5 FINO 是否能在无需噪声水平估计或外部噪声建模的情况下，有效泛化至真实世界噪声？

主要发现

• 在真实世界 SIDD 数据集上，FINO 实现了 39.40 的 PSNR 和 0.957 的 SSIM，优于最先进方法，包括 InvDN（39.28/0.955）和 AINDNet（39.08/0.955）。
• 在合成 AWGN 且 σ=25 的情况下，FINO 实现了 31.82 的 PSNR，展现出在不同噪声水平（σ=20, 25, 30）下的强性能与良好泛化能力。
• 消融实验表明，若移除内容对齐损失或重建损失，性能显著下降，尤其在高噪声水平下更为明显。
• 可视化结果表明，重建的噪声与真实噪声高度一致，证实了有效的噪声解耦与建模。
• FINO 对空间异质性及估计不准确的噪声具有良好的泛化能力，优于依赖固定噪声假设的方法。
• 仅使用 3.96M 参数，FINO 在模型尺寸远小于竞争方法（如 AINDNet 的 13.76M 和 VDN 的 7.81M）的情况下，仍实现更优性能。