[论文解读] Methods for Sparse and Low-Rank Recovery under Simplex Constraints

Ping Li, Syama Sundar Rangapuram+1 more|arXiv (Cornell University)|May 2, 2016

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出一种基于倒数平方 ℓ₂-范数的新型非凸正则化方法，用于在单纯形约束下促进稀疏性，其中传统 ℓ₁-正则化方法失效。该方法在归一化后表现出优于 ℓ₁-正则化的统计性能，并自然扩展至具有迹约束的低秩矩阵恢复问题，在压缩感知、密度估计、投资组合优化和量子层析成像等任务中均获得理论保证与实证验证。

ABSTRACT

The de-facto standard approach of promoting sparsity by means of $\ell_1$-regularization becomes ineffective in the presence of simplex constraints, i.e.,~the target is known to have non-negative entries summing up to a given constant. The situation is analogous for the use of nuclear norm regularization for low-rank recovery of Hermitian positive semidefinite matrices with given trace. In the present paper, we discuss several strategies to deal with this situation, from simple to more complex. As a starting point, we consider empirical risk minimization (ERM). It follows from existing theory that ERM enjoys better theoretical properties w.r.t.~prediction and $\ell_2$-estimation error than $\ell_1$-regularization. In light of this, we argue that ERM combined with a subsequent sparsification step like thresholding is superior to the heuristic of using $\ell_1$-regularization after dropping the sum constraint and subsequent normalization. At the next level, we show that any sparsity-promoting regularizer under simplex constraints cannot be convex. A novel sparsity-promoting regularization scheme based on the inverse or negative of the squared $\ell_2$-norm is proposed, which avoids shortcomings of various alternative methods from the literature. Our approach naturally extends to Hermitian positive semidefinite matrices with given trace. Numerical studies concerning compressed sensing, sparse mixture density estimation, portfolio optimization and quantum state tomography are used to illustrate the key points of the paper.

研究动机与目标

• 解决 ℓ₁-正则化在单纯形约束（非负且和为一的向量）或固定迹的正定半定矩阵下无法有效促进稀疏性的问题。
• 开发一种统计上稳健且自适应的方法，无需事先知晓稀疏度水平或秩。
• 为 ℓ₁-正则化后采用启发式归一化方法提供理论基础明确的替代方案，后者缺乏统计一致性。
• 将该框架自然扩展至量子态层析成像等应用中的迹约束与正定半定性约束下的低秩矩阵恢复问题。

提出的方法

• 提出一种基于负平方 ℓ₂-范数的非凸正则化器，用于在单纯形约束下促进稀疏性，避免凸优化的局限性。
• 将优化问题表述为经验风险最小化（ERM）并引入稀疏性诱导惩罚项，随后通过阈值化实现最终稀疏性。
• 通过单纯形上的投影推导出正则化问题的闭式解，矩阵情形下利用特征值分解。
• 利用浓度不等式建立在噪声存在下对真实支撑集的高概率恢复，同时给出特征值扰动的界。
• 通过施加范数对偶性将方法推广至矩阵情形，证明在迹约束与正定半定性约束下等价于投影最小二乘问题。
• 实施两阶段流程：先求解正则化问题，再对小值项进行阈值化以强制稀疏性，避免依赖 ℓ₁-正则化。

实验结果

研究问题

• RQ1 为何 ℓ₁-正则化在单纯形约束下无法有效促进稀疏性？其统计后果是什么？
• RQ2 能否构造一种非凸正则化器，使其在单纯形约束下有效促进稀疏性，同时保持理论一致性？
• RQ3 与 ℓ₁-正则化后归一化相比，经验风险最小化结合后续阈值化在估计误差与预测误差方面表现如何？
• RQ4 在存在噪声的情况下，该方法在何种理论条件下能以高概率恢复真实支撑集？
• RQ5 该框架能否自然扩展至迹约束与正定半定性约束下的低秩矩阵恢复问题，如在量子态层析成像中的应用？

主要发现

• 经验风险最小化结合后续阈值化在预测误差与 ℓ₂-估计误差方面优于 ℓ₁-正则化加归一化，理论分析支持该结论。
• 在单纯形约束下，任何促进稀疏性的正则化器都不可能是凸的，这为采用非凸替代方案（如所提出的逆 ℓ₂-范数惩罚）提供了合理性。
• 当真实参数的最小非零元素超过一个与噪声方差和样本量相关的阈值时，该方法能以高概率实现精确支撑集恢复。
• 在矩阵情形下，该方法在类似条件下可实现秩一致性，且通过浓度不等式推导出特征值扰动的理论界。
• 数值实验表明，在压缩感知、稀疏混合密度估计、投资组合优化和量子态层析成像中，该方法性能优于标准的 ℓ₁-基方法。
• 该方法对未知稀疏度水平具有自适应性，且超参数调优需求极低，因正则化参数 λ 依据噪声水平与问题维度确定。