[论文解读] A Benchmark for Sparse Coding: When Group Sparsity Meets Rank Minimization

Zhiyuan Zha, Xin Yuan+4 more|arXiv (Cornell University)|Sep 12, 2017

Sparse and Compressive Sensing Techniques参考文献 80被引用 4

一句话总结

本文通过自适应字典设计，建立了组稀疏编码（GSC）与秩最小化之间的等价性，提出了一种新颖的基准以评估稀疏编码的稀疏性。研究证明，通过图像块组的SVD得到的奇异值可作为可靠的稀疏性度量，加权Schatten $p$-范数最小化（WSNM）能紧密逼近真实的低秩结构，从而在图像修复和压缩感知恢复任务中表现更优。

ABSTRACT

Sparse coding has achieved a great success in various image processing tasks. However, a benchmark to measure the sparsity of image patch/group is missing since sparse coding is essentially an NP-hard problem. This work attempts to fill the gap from the perspective of rank minimization. More details please see the manuscript....

研究动机与目标

• 为解决稀疏编码中缺乏标准化的稀疏性度量基准，特别是针对组稀疏编码（GSC）的问题。
• 通过自适应字典设计，建立GSC与秩最小化之间的理论等价性。
• 通过利用其对应的秩最小化方法，实现对各种范数最小化方法在稀疏编码中性能的评估。
• 通过比较其对应的秩最小化等价形式，识别出最有效的稀疏编码范数最小化策略。

提出的方法

• 设计一种自适应字典，使GSC与秩最小化对齐，从而在稀疏系数估计与低秩逼近之间实现等价。
• 证明在所设计的字典下，GSC中的$β$-范数最小化在数学上等价于低秩矩阵恢复中的Schatten $p$-范数最小化（SNM）。
• 利用图像块组的奇异值分解（SVD）计算奇异值，作为稀疏性的直接、可计算的基准。
• 应用四种秩最小化方法——核范数、Schatten $p$-范数、加权Schatten $p$-范数（WSNM）和加权核范数，以评估稀疏性保真度。
• 将基于WSNM的秩最小化转化为GSC框架中的非凸加权$\ell_p$-范数最小化问题。
• 通过在图像修复任务中对比加权$\ell_p$-范数最小化与$\ell_1$、$\ell_p$及加权$\ell_1$范数，验证该基准的有效性。

Figure 1: Analyzing the sparsity of each patch group based on the rank minimization scheme in terms of image inpainting. (a) Original Barbara image. (b) 80% pixels are missing. (c-d) The curved lines of the singular values using different rank minimization methods of the patch group with reference i

实验结果

研究问题

• RQ1 能否基于秩最小化原理，建立一个可靠且可计算的组稀疏编码稀疏性基准？
• RQ2 在合理设计的自适应字典下，组稀疏编码与低秩矩阵恢复之间是否存在理论等价性？
• RQ3 在稀疏编码中，哪种范数最小化策略最能逼近图像块组的真实低秩结构？
• RQ4 当通过所提出的基准进行评估时，加权$\ell_p$-范数最小化与其它基于范数的方法相比性能如何？
• RQ5 所提出的基准是否能在实际图像修复应用（如图像修复和压缩感知）中实现性能提升？

主要发现

• 所提出的基准基于图像块组SVD的奇异值，为组稀疏编码中的稀疏性提供了可靠且可计算的度量。
• 在所测试的秩最小化方法中，加权Schatten $p$-范数最小化（WSNM）最接近图像块组的真实奇异值。
• GSC中加权$\ell_p$-范数最小化与秩最小化中WSNM之间的理论等价性，使得可在稀疏编码中应用WSNM优越的低秩逼近性能。
• 在图像修复和压缩感知恢复任务中，所提出的加权$\ell_p$-范数最小化方案优于$\ell_1$、$\ell_p$和加权$\ell_1$范数方法，实现了最先进性能。
• 实验结果证实了所提出基准在指导最优稀疏编码策略选择方面的可行性与有效性。

Figure 2: Analyzing the sparsity of each patch group based on the rank minimization scheme in terms of image CS recovery. The image boats in (a) is compressively sampled by a random Gaussian matrix with 0.2 $N$ measurements, and an initial image in (b) is estimated by using the BCS based CS image re