[论文解读] Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery

Jicong Fan, Lijun Ding+2 more|arXiv (Cornell University)|Nov 13, 2019

Sparse and Compressive Sensing Techniques被引用 38

一句话总结

本文提出 Factor Group-Sparse Regularizers (FGSR) 通过非凸因式分解近似 Schatten-p 范数，实现无 SVD 的优化，以高效的低秩矩阵恢复并具备理论保证，在 LRMC 和 RPCA 上取得了显著的实验结果。

ABSTRACT

This paper develops a new class of nonconvex regularizers for low-rank matrix recovery. Many regularizers are motivated as convex relaxations of the matrix rank function. Our new factor group-sparse regularizers are motivated as a relaxation of the number of nonzero columns in a factorization of the matrix. These nonconvex regularizers are sharper than the nuclear norm; indeed, we show they are related to Schatten-$p$ norms with arbitrarily small $0 < p \leq 1$. Moreover, these factor group-sparse regularizers can be written in a factored form that enables efficient and effective nonconvex optimization; notably, the method does not use singular value decomposition. We provide generalization error bounds for low-rank matrix completion which show improved upper bounds for Schatten-$p$ norm reglarization as $p$ decreases. Compared to the max norm and the factored formulation of the nuclear norm, factor group-sparse regularizers are more efficient, accurate, and robust to the initial guess of rank. Experiments show promising performance of factor group-sparse regularization for low-rank matrix completion and robust principal component analysis.

研究动机与目标

• 动机：在低秩恢复中超越核范数，使用非凸秩代理。
• 引入 factor group-sparse regularizers (FGSR)，放宽因子分解中非零列的数量。
• 证明 FGSR 可以与 Schatten-p 范数在任意小的 p 下相匹配，并实现无需 SVD 的高效优化。
• 给出带 Schatten-p 正则化的 LRMC 的泛化误差界，并在 LRMC 与 RPCA 上展示经验提升。

提出的方法

• 通过将 X = AB 进行因子分解并放宽 nnzc(A) 和 nnzc(B^T) 以在 A 和 B 中获得凸代理来推导 FGSR。
• 将 FGSR_1/2(X) 定义为 (1/2) min_{AB=X} ||A||_{2,1} + ||B^T||_{2,1}，将 FGSR_{2/3}(X) 定义为 (2/3α^{1/3}) min_{AB=X} ||A||_{2,1} + (α/2)||B||_F^2。
• 通过定理 1 证明 FGSR_1/2 和 FGSR_{2/3} 分别对应 Schatten-p 范数，其中 p = 1/2 和 p = 2/3。
• 给出普遍表示（及扩展），通过定理 2 实现对秩的任意紧密近似。
• 提出优化方案（带线性化的 ADMM 和 PALM），在不计算 SVD 的情况下求解因子化问题。
• 展示在无噪声和有噪声 LRMC 以及 RPCA 中的适用性，并讨论收敛性和秩动态。

实验结果

研究问题

• RQ1 FGSR 是否能够通过因子化、无 SVD 的形式来近似 Schatten-p 范数的代理，且 p 很小（如 p <= 1/2）？
• RQ2 基于 FGSR 的优化是否提供更紧的秩代理，对秩初始化具有鲁棒性，并相较核范数或最大范数方法降低计算成本？
• RQ3 基于 FGSR 的方法是否提升 LRMC 与 RPCA 的性能，并且是否能给出泛化误差界？
• RQ4 在各种缺失率和噪声水平下，基于 FGSR 的算法在合成数据和真实数据（如 MovieLens）上的实际表现如何，与现有方法相比？

主要发现

• FGSR 可以匹配 Schatten-p 范数，p = 1/2 和 p = 2/3，提供比核范数更紧的秩近似。
• 因子化的 FGSR 形式使得无 SVD 的优化成为可能，成本由 AB 的乘积主导，而非 SVD，提升了可扩展性。
• 在带 Schatten-p 正则化的 LRMC 下推导出泛化误差界，解释了相较于核范数的性能提升。
• 在 LRMC 和 RPCA 的实证结果显示，基于 FGSR 的方法在恢复精度和对秩初始化的鲁棒性方面具竞争力或优越性，且真实数据实验（例如 MovieLens）支持其有效性。