[论文解读] A Set-Theoretic Study of the Relationships of Image Models and Priors for Restoration Problems

Bihan Wen, Yanjun Li+2 more|arXiv (Cornell University)|Mar 29, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用 7

一句话总结

本文对图像恢复中的图像模型——稀疏性、组稀疏性、联合稀疏性及低秩性——进行了集合论分析，揭示了它们之间的层级关系，并量化了其去噪有效性。通过将含噪图像投影到模型集合中，并利用凸加权组合结果，该方法显著提升了去噪性能，尤其是在将深度学习与互补的基于模型的先验（如组稀疏性和低秩性）结合时表现更优。

ABSTRACT

Image prior modeling is the key issue in image recovery, computational imaging, compresses sensing, and other inverse problems. Recent algorithms combining multiple effective priors such as the sparse or low-rank models, have demonstrated superior performance in various applications. However, the relationships among the popular image models are unclear, and no theory in general is available to demonstrate their connections. In this paper, we present a theoretical analysis on the image models, to bridge the gap between applications and image prior understanding, including sparsity, group-wise sparsity, joint sparsity, and low-rankness, etc. We systematically study how effective each image model is for image restoration. Furthermore, we relate the denoising performance improvement by combining multiple models, to the image model relationships. Extensive experiments are conducted to compare the denoising results which are consistent with our analysis. On top of the model-based methods, we quantitatively demonstrate the image properties that are inexplicitly exploited by deep learning method, of which can further boost the denoising performance by combining with its complementary image models.

研究动机与目标

• 理论阐明在图像恢复背景下，关键图像模型——稀疏性、组稀疏性、联合稀疏性和低秩性——之间的关系。
• 通过分析建模误差和残留噪声能量，评估每种图像模型在去噪中的有效性。
• 提供一种理论条件，说明在何种情况下组合互补的图像模型可提升恢复性能。
• 识别SOTA深度学习方法（如DnCNN）所隐含利用的图像先验，并展示如何通过与基于模型的方法结合来进一步提升性能。
• 通过利用图像模型之间的结构性关系，为混合恢复框架的设计提供指导。

提出的方法

• 将图像模型集合定义为稀疏性、组稀疏性、联合稀疏性和低秩性模型的解集，并通过集合论分析建立其层级关系。
• 假设这些模型是唯一的先验，采用投影到这些模型集合上的最大似然估计方法实现图像去噪。
• 提出一种凸组合框架：通过多个模型投影去噪，并使用固定权重（如μ=0.5）组合结果以提升信噪比（SNR）。
• 将该框架应用于将深度学习（DnCNN）与基于模型的方法（KSVD、SSC-GSM、WNNM）结合，使用固定权重评估性能增益。
• 以图像去噪作为逆问题的代理，使用信噪比（SNR）和峰值信噪比（PSNR）作为评估指标，量化性能提升。
• 在Kodak和Urban100数据集上开展大量实验，以验证理论结论，并展示模型组合带来的实际性能增益。

实验结果

研究问题

• RQ1 在稀疏性、组稀疏性、联合稀疏性和低秩性模型的解集之间，其理论关系（包含、等价或层级）为何？
• RQ2 每种图像模型在去噪中的有效性如何依赖于建模误差和残余噪声能量？
• RQ3 在何种条件下，组合两个互补的图像模型可实现更优的去噪性能？
• RQ4 深度学习方法（如DnCNN）隐式利用了哪些图像特性？如何通过与基于模型的先验结合来显式增强这些特性？
• RQ5 简单的深度学习与基于模型的去噪结果的凸组合是否能实现相对于SOTA方法的可测量性能提升？

主要发现

• 集合论分析表明，低秩性和组稀疏性比稀疏性和联合稀疏性更具普遍性，在较弱假设下通过维恩图关系得到验证。
• 在Urban100数据集上，DnCNN与WNNM（低秩组模型）结合在σ=70时实现0.64 dB的PSNR提升，而DnCNN+KSVD未见提升，表明DnCNN已捕获局部稀疏性。
• DnCNN与SSC-GSM（组稀疏性）结合在σ=70时实现0.51 dB的PSNR提升，表明DnCNN仅部分捕获了自相似性等非局部结构。
• 使用μ=0.5的凸组合框架在Urban100上实现显著性能提升，DnCNN+WNNM在σ=30时达到28.82 PSNR，优于DnCNN单独使用（28.16）。
• 视觉结果表明，DnCNN保留了精细细节但引入了伪影，而WNNM产生平滑结果但存在伪影；其组合同时提升了PSNR与视觉质量。
• 本研究证实，DnCNN等深度学习模型隐式利用了局部稀疏性，但未能完全捕捉非局部图像自相似性，而通过与组稀疏性和低秩模型结合可有效恢复该特性。