[论文解读] Analyzing the Weighted Nuclear Norm Minimization and Nuclear Norm Minimization based on Group Sparse Representation

Zhiyuan Zha, Yuan, Xin+5 more|arXiv (Cornell University)|Feb 15, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用 10

一句话总结

本文提出了一种基于组稀疏表示（GSR）的框架，从数学上解释了为何加权核范数最小化（WNNM）在低秩矩阵恢复中优于核范数最小化（NNM）。通过设计一种自适应字典，将GSR与秩最小化相联系，作者推导出NNM和WNNM分别对应于组上的ℓ₁和加权ℓ₁最小化，并提出一种自适应权重方案以避免SVD不稳定性，在图像去噪和图像修复任务中取得了当前最优结果。

ABSTRACT

Rank minimization methods have attracted considerable interest in various areas, such as computer vision and machine learning. The most representative work is nuclear norm minimization (NNM), which can recover the matrix rank exactly under some restricted and theoretical guarantee conditions. However, for many real applications, NNM is not able to approximate the matrix rank accurately, since it often tends to over-shrink the rank components. To rectify the weakness of NNM, recent advances have shown that weighted nuclear norm minimization (WNNM) can achieve a better matrix rank approximation than NNM, which heuristically set the weight being inverse to the singular values. However, it still lacks a sound mathematical explanation on why WNNM is more feasible than NNM. In this paper, we propose a scheme to analyze WNNM and NNM from the perspective of the group sparse representation. Specifically, we design an adaptive dictionary to bridge the gap between the group sparse representation and the rank minimization models. Based on this scheme, we provide a mathematical derivation to explain why WNNM is more feasible than NNM. Moreover, due to the heuristical set of the weight, WNNM sometimes pops out error in the operation of SVD, and thus we present an adaptive weight setting scheme to avoid this error. We then employ the proposed scheme on two low-level vision tasks including image denoising and image inpainting. Experimental results demonstrate that WNNM is more feasible than NNM and the proposed scheme outperforms many current state-of-the-art methods.

研究动机与目标

• 为加权核范数最小化（WNNM）在低秩矩阵恢复中优于核范数最小化（NNM）的性能提供严格的数学解释。
• 通过自适应字典学习方法，弥合组稀疏表示（GSR）与秩最小化模型之间的差距。
• 通过提出一种自适应权重设定方案，解决WNNM中启发式权重设置导致的SVD运算不稳定性问题。
• 在真实世界低层次视觉任务（包括图像去噪和图像修复）上评估所提框架，证明其性能优于现有方法。

提出的方法

• 设计一种自适应字典学习方法，将矩阵的奇异值组映射为稀疏表示，从而建立GSR与秩最小化之间的联系。
• 证明核范数最小化（NNM）在数学上等价于对组稀疏表示的ℓ₁-范数最小化。
• 证明加权核范数最小化（WNNM）在GSR框架中对应于加权ℓ₁-范数最小化，从而解释其性能提升。
• 提出一种基于奇异值大小的自适应权重设定策略，以避免WNNM中SVD计算过程的数值误差。
• 将所提出的GSR-WNNM模型集成到基于非局部块分组的图像恢复流程中，用于去噪和修复。
• 使用交替方向乘子法（ADMM）对模型进行优化，结合高效的奇异值阈值化与组稀疏编码。

实验结果

研究问题

• RQ1 尽管NNM和WNNM都是秩最小化的凸松弛，为何WNNM在低秩矩阵恢复中比NNM更有效？
• RQ2 WNNM的优越性能否通过稀疏表示框架（尤其是组稀疏表示，GSR）进行形式化解释？
• RQ3 如何改进WNNM中启发式权重分配方式，以避免SVD计算过程中的数值不稳定性？
• RQ4 所提出的基于GSR的框架是否在实际图像恢复任务（如去噪和修复）中优于当前最优方法？

主要发现

• 在图像修复任务中，所提出的GSR-WNNM框架相较于SALSA平均提升PSNR 3.32 dB，相较于BPFA提升1.72 dB，相较于GSR-NNM提升2.20 dB。
• 在80%像素缺失的Mickey图像上，GSR-WNNM达到33.67 dB的PSNR和0.9651的SSIM，优于IPPO（32.74 dB）和JSM（31.96 dB）。
• 在80%像素缺失的Starfish图像上，GSR-WNNM达到34.27 dB的PSNR和0.9535的SSIM，显著优于BPFA（33.13 dB）和NGS（24.62 dB）。
• 视觉结果表明，GSR-WNNM能更好地保持锐利边缘和精细纹理，同时消除振铃伪影，而SALSA、NGS和GSR-NNM则存在此类问题。
• 自适应权重方案成功避免了启发式WNNM实现中常见的SVD相关数值误差。
• 数学推导证实，WNNM在GSR框架中对应于加权ℓ₁最小化，为WNNM在性能上优于NNM提供了理论基础。