[论文解读] Invertible Denoising Network: A Light Solution for Real Noise Removal

Yang Liu, Zhenyue Qin+5 more|arXiv (Cornell University)|Apr 21, 2021

Image and Signal Denoising Methods参考文献 52被引用 10

一句话总结

该论文提出InvDN，一种可逆去噪网络，可将噪声输入分离为低分辨率的干净图像和含噪声的潜在表征。通过在反向过程中用从先验分布中采样的潜在代码替换原始噪声潜在代码，InvDN在SIDD数据集上实现了SOTA去噪性能，参数量仅为先前模型的4.2%，推理速度更快，同时还能实现高保真度的噪声生成。

ABSTRACT

Invertible networks have various benefits for image denoising since they are lightweight, information-lossless, and memory-saving during back-propagation. However, applying invertible models to remove noise is challenging because the input is noisy, and the reversed output is clean, following two different distributions. We propose an invertible denoising network, InvDN, to address this challenge. InvDN transforms the noisy input into a low-resolution clean image and a latent representation containing noise. To discard noise and restore the clean image, InvDN replaces the noisy latent representation with another one sampled from a prior distribution during reversion. The denoising performance of InvDN is better than all the existing competitive models, achieving a new state-of-the-art result for the SIDD dataset while enjoying less run time. Moreover, the size of InvDN is far smaller, only having 4.2% of the number of parameters compared to the most recently proposed DANet. Further, via manipulating the noisy latent representation, InvDN is also able to generate noise more similar to the original one. Our code is available at: https://github.com/Yang-Liu1082/InvDN.git.

研究动机与目标

• 为解决可逆网络在真实世界图像去噪中的挑战，即输入（噪声）和输出（干净）遵循不同分布的问题。
• 设计一种可逆架构，在保留信息的同时通过潜在空间操作实现有效的去噪。
• 以极少的参数量和更短的推理时间实现卓越的去噪性能，适用于边缘设备部署。
• 通过修改噪声潜在表征实现可控的噪声生成，生成逼真的合成噪声图像。

提出的方法

• InvDN使用可逆瓶颈层，将噪声输入映射为低分辨率的干净图像和高维潜在表征，后者编码了噪声和高频细节。
• 在去噪过程中，将原始噪声潜在表征替换为从标准正态先验中采样的新潜在表征，以恢复干净图像。
• 模型利用可逆性，在反向传播过程中确保信息保留和内存效率。
• 通过多次采样潜在代码并平均得到的去噪输出，应用蒙特卡洛自集成方法以提升鲁棒性。
• 在噪声生成中，对原始噪声潜在代码进行扰动并反向还原，生成新的逼真噪声图像。
• 网络在SIDD数据集上端到端训练，使用重建损失和对干净潜在空间的基于先验的正则化。

实验结果

研究问题

• RQ1 尽管输入（噪声）和输出（干净）分布不匹配，可逆网络是否能有效适应真实世界图像去噪？
• RQ2 如何设计一种可逆架构，将干净内容与噪声有效分离，以同时支持去噪和噪声生成？
• RQ3 轻量级可逆模型是否能以显著更少的参数量和更快的推理速度实现SOTA去噪性能？
• RQ4 可逆模型的潜在空间在多大程度上可被操控，以生成逼真且多样的噪声图像？

主要发现

• InvDN在SIDD测试集上实现了32.48的PSNR新SOTA，优于所有先前方法，包括DANet和VDN。
• 该模型仅使用DANet最近提出的参数量的4.2%，使其在边缘设备部署中极具效率。
• InvDN显著减少了推理时间，实现更快的去噪速度而不损失质量。
• 模型生成的噪声图像AKLD为0.059，显著低于DANet的0.212，表明与真实噪声的相似度更高。
• 蒙特卡洛自集成方法提升了去噪性能，在SIDD验证集中83.35%的图像上提升了精度。
• PCA可视化结果证实，噪声潜在表征与干净先验采样结果遵循明显分离、不重叠的分布。