[论文解读] Iteratively Reweighted $\ell_1$ Approaches to $\ell_2$-Constrained Sparse Composite Regularization

Rizwan Ahmad, Philip Schniter|arXiv (Cornell University)|Apr 20, 2015

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出两种新颖算法 Co-L1 和 Co-IRW-L1，通过在多个字典上使用复合 $μat$-正则化，从含噪线性测量中重建近似稀疏信号。通过迭代重加权和自适应调节正则化权重，该方法在恢复信噪比（SNR）方面显著优于标准 L1 和 IRW-L1 方法，且在 MM、贝叶斯 MAP 和 VEM 框架下具有多重解释。

ABSTRACT

Motivated by the observation that a given signal $\boldsymbol{x}$ admits sparse representations in multiple dictionaries $\boldsymbol{\Psi}_d$ but with varying levels of sparsity across dictionaries, we propose two new algorithms for the reconstruction of (approximately) sparse signals from noisy linear measurements. Our first algorithm, Co-L1, extends the well-known lasso algorithm from the L1 regularizer $\|\boldsymbol{\Psi x}\|_1$ to composite regularizers of the form $\sum_d \lambda_d \|\boldsymbol{\Psi}_d \boldsymbol{x}\|_1$ while self-adjusting the regularization weights $\lambda_d$. Our second algorithm, Co-IRW-L1, extends the well-known iteratively reweighted L1 algorithm to the same family of composite regularizers. We provide several interpretations of both algorithms: i) majorization-minimization (MM) applied to a non-convex log-sum-type penalty, ii) MM applied to an approximate $\ell_0$-type penalty, iii) MM applied to Bayesian MAP inference under a particular hierarchical prior, and iv) variational expectation-maximization (VEM) under a particular prior with deterministic unknown parameters. A detailed numerical study suggests that our proposed algorithms yield significantly improved recovery SNR when compared to their non-composite L1 and IRW-L1 counterparts.

研究动机与目标

• 解决当多个字典对同一信号产生不同稀疏水平时，重建稀疏信号的挑战。
• 开发一种框架，通过使用自适应权重的复合 $μat$-正则化器，结合多个字典中的稀疏表示。
• 通过利用多个字典中的冗余性和多样性，提升信号恢复性能，超越标准 Lasso 和迭代重加权 L1 方法。
• 通过期望最大化（MM）、贝叶斯 MAP 和变分期望-最大化（VEM）框架，提供所提方法的理论与算法解释。
• 通过实证结果证明，所提算法在含噪测量下，恢复信噪比显著高于非复合型方法。

提出的方法

• 提出 Co-L1，即一种使用复合正则化器的 Lasso 变体：$\sum_d \lambda_d \|\boldsymbol{\Psi}_d \boldsymbol{x}\|_1$，其中 $\lambda_d$ 为自适应调节的正则化权重。
• 开发 Co-IRW-L1，即对相同复合正则化器的迭代重加权 L1 算法的扩展，支持对基于字典的稀疏性项进行自适应重加权。
• 将两种算法建模为应用于非凸对数求和惩罚的期望最大化（MM）过程，从而提供收敛性保证。
• 将方法重新解释为应用于近似 $\ell_0$ 类型惩罚的 MM 方法，将其与诱导稀疏性的非凸优化联系起来。
• 通过层次先验下的最大后验（MAP）推断提供贝叶斯解释，其中权重 $\lambda_d$ 源于超参数学习。
• 将该框架与具有确定性未知参数的变分期望-最大化（VEM）方法关联，提供概率建模视角。

实验结果

研究问题

• RQ1 在多个字典上使用复合正则化是否能超越单字典 L1 或 IRW-L1 方法，提升稀疏信号恢复性能？
• RQ2 如何自适应调节正则化权重 $\lambda_d$，以反映不同字典中稀疏水平的差异？
• RQ3 所提算法与非凸稀疏诱导惩罚（如对数求和或 $\ell_0$-近似）之间存在何种理论联系？
• RQ4 所提算法在贝叶斯 MAP 和变分 EM 框架下可如何解释？
• RQ5 在含噪测量条件下，所提方法在恢复信噪比方面相较于标准 L1 和 IRW-L1 方法的性能提升程度如何？

主要发现

• 在数值实验中，所提 Co-L1 和 Co-IRW-L1 算法在恢复信噪比方面显著优于其非复合型 L1 和 IRW-L1 对应方法。
• 正则化权重 $\lambda_d$ 的自适应特性使其能更好地适应不同字典中稀疏水平的差异。
• 算法可通过多种框架解释：期望最大化（MM）、贝叶斯 MAP 和变分 EM，增强了理论稳健性。
• 复合正则化器 $\sum_d \lambda_d \|\boldsymbol{\Psi}_d \boldsymbol{x}\|_1$ 有效利用了多个字典中的冗余性和多样性，从而提升重建性能。
• MM 解释确保了收敛性，并为惩罚函数的非凸变体提供了稳定的优化路径。
• 实证结果证实，性能提升在各种信号模型和噪声水平下均保持一致，展现出良好的鲁棒性与可扩展性。