[论文解读] Convolutional Sparse Coding with Overlapping Group Norms

Brendt Wohlberg|arXiv (Cornell University)|Aug 29, 2017

Sparse and Compressive Sensing Techniques参考文献 24被引用 6

一句话总结

该论文提出了一种新型算法，用于基于重叠组范数（具体为 ℓ₁,∞ 和 ℓ₁,₂ 范数）的卷积稀疏编码（CSC），以在空间和滤波器维度上强制实现结构化稀疏性。尽管理论动机充分，实验表明这些范数在高斯去噪任务中表现不如标准 ℓ₁ 正则化；然而，通过自适应加权策略，性能显著提升，使得 ℓ₁ CSC 的性能可与基于图像块的方法相媲美或超越。

ABSTRACT

The most widely used form of convolutional sparse coding uses an $\ell_1$ regularization term. While this approach has been successful in a variety of applications, a limitation of the $\ell_1$ penalty is that it is homogeneous across the spatial and filter index dimensions of the sparse representation array, so that sparsity cannot be separately controlled across these dimensions. The present paper considers the consequences of replacing the $\ell_1$ penalty with a mixed group norm, motivated by recent theoretical results for convolutional sparse representations. Algorithms are developed for solving the resulting problems, which are quite challenging, and the impact on the performance of the denoising problem is evaluated. The mixed group norms are found to perform very poorly in this application. While their performance is greatly improved by introducing a weighting strategy, such a strategy also improves the performance obtained from the much simpler and computationally cheaper $\ell_1$ norm.

研究动机与目标

• 为解决标准 ℓ₁ 正则化在 CSC 中对所有空间和滤波器维度一视同仁的局限性，通过混合组范数引入结构化稀疏性。
• 开发高效优化算法，用于求解使用重叠组（此前未被研究）的 ℓ₁,∞ 和 ℓ₁,₂ 组范数的 CSC 问题。
• 在高斯白噪声下的图像去噪任务中，对这些基于组范数的 CSC 方法进行实证评估，该任务是标准基准问题。
• 探究通过组范数实现的结构化稀疏性是否能在实际图像重建任务中超越基于标准 ℓ₁ 的 CSC。
• 探索自适应加权策略对提升组范数基 CSC 性能的影响，尤其与加权 ℓ₁ 正则化方法进行比较。

提出的方法

• 提出一种基于重叠组范数（具体为 ℓ₁,∞ 和 ℓ₁,₂）的卷积稀疏编码新公式，以在系数图的空间和滤波器维度上促进结构化稀疏性。
• 开发基于 ADMM 的专用算法，用于求解具有重叠组的非光滑、非可分优化问题，此类问题计算复杂且此前未在相关工作中解决。
• 提出一种基于活动度量（|Dᵀs|²）的倒数的加权方案，以自适应地缩放正则化项，通过惩罚相关性较低的滤波器来提升性能。
• 将 ADMM 框架应用于将优化问题分解为子问题，包括组范数的软阈值化步骤以及涉及卷积算子的数据保真项。
• 利用 DFT 域高效计算伴随字典操作（Dᵀs），从而实现加权方案的快速计算。
• 在五幅测试图像上验证所提方法，图像均受 σ=0.05 的高斯白噪声污染。

实验结果

研究问题

• RQ1 在卷积稀疏编码中，重叠组范数（ℓ₁,∞ 和 ℓ₁,₂）是否能相比标准 ℓ₁ 正则化提升图像去噪性能？
• RQ2 求解具有重叠组范数的 CSC 问题面临哪些计算与算法挑战？能否有效解决？
• RQ3 通过组范数实现的结构化稀疏性在理论上具有吸引力，其性能优势是否能在图像去噪中实际体现？
• RQ4 自适应加权策略是否能显著提升组范数基 CSC 的性能？与 ℓ₁ 基 CSC 中的类似策略相比如何？
• RQ5 是否存在某种实际场景，使得组范数基 CSC 的性能优于或等同于成熟的基于图像块的稀疏编码方法？

主要发现

• 基于 ℓ₁,∞ 和 ℓ₁,2 组范数的 CSC 方法在图像去噪任务中显著劣于标准 ℓ₁ 正则化，平均 PSNR 下降 1–2 dB。
• ℓ₁,2 范数优于 ℓ₁,∞，但仍无法达到标准 ℓ₁ 范数的性能水平。
• 基于 |Dᵀs|⁻² 的自适应加权策略显著提升了两种组范数方法的性能，使其接近或超过未加权的 ℓ₁ CSC 基线。
• 加权 ℓ₁ 范数方法在 'Barbara' 图像上达到 33.39 dB 的 PSNR，优于所有组范数方法，并与基于图像块的 OMP 方法性能相当。
• 所提出的重叠组范数 CSC 算法计算量较大但可行，为未来在去噪以外的应用中探索提供了可能。
• 研究结论认为，尽管组范数在理论上具有吸引力，但其在去噪任务中的实际效用有限，除非辅以有效加权策略；而该策略同样显著提升了更简单的 ℓ₁ 方法的性能。