[论文解读] Tight convex relaxations for sparse matrix factorization

Émile Richard, Guillaume Obozinski+1 more|arXiv (Cornell University)|Jul 19, 2014

Sparse and Compressive Sensing Techniques参考文献 50被引用 24

一句话总结

本文提出了两种新颖的凸惩罚项——(k,q)-核范数与(k,q)-CUT范数，用于稀疏矩阵分解，其统计性能优于标准的$γ_1$范数与核范数。所提方法显著降低了统计维数（小一个数量级），从而提升了样本复杂度与估计精度，尤其在低秩且因子稀疏的矩阵中表现更优，尽管该问题仍为NP难问题。

ABSTRACT

Based on a new atomic norm, we propose a new convex formulation for sparse matrix factorization problems in which the number of nonzero elements of the factors is assumed fixed and known. The formulation counts sparse PCA with multiple factors, subspace clustering and low-rank sparse bilinear regression as potential applications. We compute slow rates and an upper bound on the statistical dimension of the suggested norm for rank 1 matrices, showing that its statistical dimension is an order of magnitude smaller than the usual $\ell\_1$-norm, trace norm and their combinations. Even though our convex formulation is in theory hard and does not lead to provably polynomial time algorithmic schemes, we propose an active set algorithm leveraging the structure of the convex problem to solve it and show promising numerical results.

研究动机与目标

• 开发优于现有范数的凸优化形式，以更准确地捕捉具有稀疏因子的低秩矩阵结构。
• 解决标准$γ_1$与核范数凸组合的局限性，后者在某些情形下无法超越单一范数的表现。
• 利用凸几何方法，特别是所提范数的统计维数，提供统计性能的理论保证。
• 设计一种主动集算法，以在实际中高效求解由此产生的NP难凸问题。
• 通过实证结果表明，所提方法在协方差估计与稀疏主成分分析任务中优于现有基线方法。

提出的方法

• 提出一种基于$(k,q)$-秩的新型原子范数，用于衡量重建矩阵所需的最少稀疏秩一成分数量。
• 定义两种新矩阵范数：$(k,q)$-核范数与$(k,q)$-CUT范数，二者均旨在促进具有稀疏因子的低秩结构。
• 利用凸几何方法计算所提范数的统计维数，结果表明其统计维数比$γ_1$范数、核范数及其组合小一个数量级。
• 开发一种主动集算法，利用凸问题的结构特征，高效求解NP难问题，即使在理论困难的情况下亦然。
• 将这些范数作为正则化项应用于协方差估计与稀疏主成分分析等优化问题，并通过邻近算法求解。
• 利用集合$\mathcal{A}_{k,\succ}$的规范函数定义$(k,q)$-CUT范数，并与核范数形式建立联系，以提升算法效率。

实验结果

研究问题

• RQ1 能否设计出优于现有$γ_1$-核范数组合的凸松弛方法，以更准确地捕捉矩阵分解中联合稀疏性与低秩结构？
• RQ2 所提$(k,q)$-范数的统计维数是多少？与标准范数相比，其在样本复杂度方面表现如何？
• RQ3 尽管所提凸形式为NP难问题，能否实现可证明更优的估计精度？
• RQ4 如何设计高效算法以在实际中求解由此产生的NP难凸问题？
• RQ5 在真实估计任务中，所提方法是否优于如顺序稀疏主成分分析或$γ_1$-核范数惩罚等标准方法？

主要发现

• 所提$(k,q)$-CUT范数的统计维数比$γ_1$范数、核范数及其组合小一个数量级，表明其具有更优的统计效率。
• 在协方差估计任务中，所提方法（$\Omega_{k,\succeq}$）的相对误差为0.59 ± 0.03，显著优于次优方法（顺序稀疏主成分分析，误差为0.93 ± 0.08）。
• $(k,q)$-核范数与CUT范数在样本复杂度与估计精度方面优于标准的$γ_1$与核范数凸组合。
• 主动集算法成功求解NP难凸问题，并获得有希望的数值结果，验证了理论优势。
• 在相对误差与矩阵结构恢复方面，该方法优于谱方法、$γ_1$范数及$γ_1$+核范数基线方法，尤其在高维、欠定设置下表现更优。
• 对于稀疏向量，所提惩罚退化为$k$-支持范数，且在统计维数方面无法超越$γ_1$范数，凸显了其在矩阵层面的优越性。