[论文解读] A Unified Convex Surrogate for the Schatten- p Norm

Chen Xu, Zhouchen Lin+1 more|arXiv (Cornell University)|Feb 12, 2017

Sparse and Compressive Sensing Techniques被引用 28

一句话总结

本文提出了一种统一的凸代理函数来替代Schatten-p范数，使得对于任意p > 0，均可实现凸优化与光滑优化，从而克服了当0 < p < 1时原始Schatten-p范数的非凸性与非光滑性。通过建立Schatten-p范数与其因子矩阵范数之间的等价关系，该方法实现了通过加速近端交替线性化最小化算法进行高效矩阵补全，该算法具有收敛性证明和优越的实验性能。

ABSTRACT

The Schatten- p norm (0 0 satisfying 1/ p = 1/ p 1 + 1/ p 2 , there is an equivalence between the Schatten- p norm of one matrix and the Schatten- p 1 and the Schatten- p 2 norms of its two factor matrices. We further extend the equivalence to multiple factor matrices and show that all the factor norms can be convex and smooth for any p > 0. In contrast, the original Schatten- p norm for 0 < p < 1 is non-convex and non-smooth. As an example we conduct experiments on matrix completion. To utilize the convexity of the factor matrix norms, we adopt the accelerated proximal alternating linearized minimization algorithm and establish its sequence convergence. Experiments on both synthetic and real datasets exhibit its superior performance over the state-of-the-art methods. Its speed is also highly competitive.

研究动机与目标

• 为解决0 < p < 1时Schatten-p范数的非凸性与非光滑性问题，该问题在低秩矩阵恢复优化中构成障碍。
• 通过因子矩阵分解，建立Schatten-p范数的凸且光滑的代理函数。
• 通过利用因子矩阵范数的凸性，实现高效且收敛的矩阵补全优化。
• 证明所提出方法在准确率与计算速度方面均优于当前最先进方法。

提出的方法

• 通过在满足1/p = 1/p1 + 1/p2的条件下，将Schatten-p范数与因子矩阵的Schatten-p1和Schatten-p2范数相关联，提出一种统一的Schatten-p范数凸代理函数。
• 将等价关系扩展至多个因子矩阵，确保对于任意p > 0，所有因子矩阵范数均保持凸性与光滑性。
• 采用加速近端交替线性化最小化（APALM）算法求解优化问题，并建立了序列收敛性。
• 利用Schatten-p范数与因子矩阵范数之间的等价性，将原始的非凸问题重新表述为凸且光滑的优化框架。
• 通过在因子化矩阵上最小化凸代理目标函数，将该方法应用于矩阵补全。

实验结果

研究问题

• RQ1 当0 < p < 1时，尽管Schatten-p范数本身具有固有的非凸性，是否仍可构造其凸代理函数？
• RQ2 在特定参数条件1/p = 1/p1 + 1/p2下，矩阵的Schatten-p范数与因子矩阵的Schatten-p1和p2范数之间是否存在数学等价性？
• RQ3 对于任意p > 0，因子矩阵范数的凸性与光滑性是否可在多重因子分解中保持？
• RQ4 与现有方法相比，所提出的凸代理函数是否能实现更快且更准确的矩阵补全？

主要发现

• 所提出的凸代理函数可实现任意p > 0下的平滑且凸的优化，解决了原始Schatten-p范数在0 < p < 1时的非凸性问题。
• 当1/p = 1/p1 + 1/p2时，建立了矩阵的Schatten-p范数与因子矩阵的Schatten-p1和p2范数之间的等价关系。
• 该方法在合成数据集和真实世界数据集上的矩阵补全任务中均达到了最先进性能。
• 加速近端交替线性化最小化算法确保了所提公式的序列收敛性。
• 与现有方法相比，该方法在计算速度上表现出高度竞争力，同时在准确率方面表现更优。