[论文解读] Matrix Completion and Related Problems via Strong Duality

Maria-Florina Balcan, Yingyu Liang+2 more|arXiv (Cornell University)|Apr 27, 2017

Sparse and Compressive Sensing Techniques参考文献 63被引用 6

一句话总结

本文通过引入一种新颖的分析框架，为一大类非凸矩阵分解问题建立了强对偶性，确保在特定对偶条件下实现零对偶间隙。研究表明，通过凸松弛方法可实现矩阵补全和鲁棒主成分分析的精确恢复，且样本复杂度近乎最优，从而可通过双向对偶凸规划实现全局最优。

ABSTRACT

This work studies the strong duality of non-convex matrix factorization problems: we show that under certain dual conditions, these problems and its dual have the same optimum. This has been well understood for convex optimization, but little was known for non-convex problems. We propose a novel analytical framework and show that under certain dual conditions, the optimal solution of the matrix factorization program is the same as its bi-dual and thus the global optimality of the non-convex program can be achieved by solving its bi-dual which is convex. These dual conditions are satisfied by a wide class of matrix factorization problems, although matrix factorization problems are hard to solve in full generality. This analytical framework may be of independent interest to non-convex optimization more broadly. We apply our framework to two prototypical matrix factorization problems: matrix completion and robust Principal Component Analysis (PCA). These are examples of efficiently recovering a hidden matrix given limited reliable observations of it. Our framework shows that exact recoverability and strong duality hold with nearly-optimal sample complexity guarantees for matrix completion and robust PCA.

研究动机与目标

• 开发一种统一的分析框架，用于分析具有强对偶性的非凸矩阵分解问题。
• 建立非凸矩阵分解问题的全局最优解等于其双向对偶（凸）问题的条件。
• 在几乎最优的样本复杂度下实现矩阵补全和鲁棒主成分分析的精确可恢复性。
• 为通过凸对偶解决困难的非凸问题提供理论基础，且该方法可推广至矩阵分解之外的应用。

提出的方法

• 该框架引入了原-对偶公式，将非凸问题表示为涉及拉格朗日乘子矩阵 $\mathbf{\Lambda}$ 的极小化-极大化优化问题。
• 对偶问题被推导为 $\max_{\mathbf{\Lambda}} -\frac{1}{2}\|\mathbf{\Lambda}\|_r^2 - H^*(\mathbf{\Lambda})$，其中 $\|\mathbf{\Lambda}\|_r^2$ 表示前 $r$ 个最大奇异值的平方和。
• 双向对偶问题被表述为 $\min_{\mathbf{M}} \|\mathbf{M}\|_{r*} + H(\mathbf{M})$，其中 $\|\mathbf{M}\|_{r*}$ 为截断至秩 $r$ 的核范数的对偶范数。
• 该方法利用双向对偶问题的凸性，通过前向-后向算法等近端算法实现高效求解，收敛速度为 $\textsf{poly}(1/\epsilon)$。
• 通过将 $H(\cdot)$ 选择为稀疏分量的 $\ell_1$-范数或低秩结构的恒等函数，将该框架应用于矩阵补全和鲁棒主成分分析。
• 采用从伯努利采样模型到均匀采样模型的约化方法，将恢复保证推广至不同观测模型。

实验结果

研究问题

• RQ1 非凸矩阵分解问题在何种条件下成立强对偶性？
• RQ2 非凸矩阵分解问题的全局最优解是否可通过求解其凸双向对偶问题获得？
• RQ3 在所提出的框架下，矩阵补全和鲁棒主成分分析的精确恢复需要多高的样本复杂度？
• RQ4 该框架如何推广至其他非凸问题，如矩阵感知或字典学习？

主要发现

• 当满足对偶条件时，非凸矩阵分解问题的强对偶性成立，确保原问题与双向对偶问题之间零对偶间隙。
• 非凸问题的全局最优解等价于其凸双向对偶问题的解，从而可通过凸松弛实现高效的全局优化。
• 在矩阵补全中，样本复杂度为 $O(n r \log n)$，与信息论下界仅相差对数因子。
• 对于鲁棒主成分分析，该框架在近乎最优的采样条件下可确保低秩和稀疏分量的精确恢复。
• 双向对偶问题为凸问题，可使用近端算法（如 Douglas-Rachford）在 $\textsf{poly}(1/\epsilon)$ 时间内求解，达到 $\epsilon$-精度。
• 该框架可推广至矩阵感知和深度线性网络等其他问题，表明其在更广泛问题上的适用性。