[论文解读] Extended Gauss-Newton and Gauss-Newton-ADMM Algorithms for Low-Rank Matrix Optimization

Quoc Tran-Dinh, Zheqi Zhang|arXiv (Cornell University)|Jun 10, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用 4

一句话总结

本文提出了一种扩展的高斯-牛顿（GN）框架及GN-ADMM算法，用于非凸低秩矩阵优化，通过代理函数和闭式牛顿方向，实现了全局与局部收敛。该方法在精度上优于标准ADMM，并能处理ADMM在无变量提升时失效的对称低秩问题。

ABSTRACT

We develop a generic Gauss-Newton (GN) framework for solving a class of nonconvex optimization problems involving low-rank matrix variables. As opposed to standard Gauss-Newton method, our framework allows one to handle general smooth convex cost function via its surrogate. The main complexity-per-iteration consists of the inverse of two rank-size matrices and at most six small matrix multiplications to compute a closed form Gauss-Newton direction, and a backtracking linesearch. We show, under mild conditions, that the proposed algorithm globally and locally converges to a stationary point of the original nonconvex problem. We also show empirically that the Gauss-Newton algorithm achieves much higher accurate solutions compared to the well studied alternating direction method (ADM). Then, we specify our Gauss-Newton framework to handle the symmetric case and prove its convergence, where ADM is not applicable without lifting variables. Next, we incorporate our Gauss-Newton scheme into the alternating direction method of multipliers (ADMM) to design a GN-ADMM algorithm for solving the low-rank optimization problem. We prove that, under mild conditions and a proper choice of the penalty parameter, our GN-ADMM globally converges to a stationary point of the original problem. Finally, we apply our algorithms to solve several problems in practice such as low-rank approximation, matrix completion, robust low-rank matrix recovery, and matrix recovery in quantum tomography. The numerical experiments provide encouraging results to motivate the use of nonconvex optimization.

研究动机与目标

• 开发一种适用于非凸低秩矩阵优化的通用高斯-牛顿框架，支持一般光滑凸代价函数。
• 在较弱条件下实现对驻点的收敛，克服标准高斯-牛顿法与ADMM在对称与非凸设置下的局限性。
• 设计一种GN-ADMM变体，通过适当选择惩罚参数确保全局收敛。
• 在低秩逼近、矩阵补全、鲁棒恢复与量子层析成像任务上，对方法进行经验验证。
• 展示所提算法在非凸优化方面相对于经典ADMM的优越性。

提出的方法

• 该框架使用代理函数处理一般光滑凸代价函数，使非凸设置下可实现高斯-牛顿更新。
• 每次迭代通过求解两个秩大小矩阵的逆及最多六次小矩阵乘法，计算闭式高斯-牛顿方向。
• 采用回溯线搜索，确保每一步的代价函数均有充分下降。
• 针对对称问题，框架被专门化以保持对称性并确保收敛，而标准ADMM在无变量提升时会失效。
• GN-ADMM算法将高斯-牛顿步骤整合进ADMM的交替结构中，利用惩罚参数强制约束满足。
• 在较弱条件下证明了收敛性，包括GN-ADMM中惩罚参数的合理选择。

实验结果

研究问题

• RQ1 能否将高斯-牛顿框架扩展至处理非凸低秩矩阵优化中的一般光滑凸代价函数？
• RQ2 所提出的GN方法是否在较弱条件下实现对驻点的全局与局部收敛？
• RQ3 能否有效将GN方法与ADMM结合，形成具备全局收敛保证的GN-ADMM算法？
• RQ4 在解的精度与收敛性方面，GN与GN-ADMM相较于标准ADMM在低秩问题上的表现如何？
• RQ5 所提算法能否处理标准ADMM在无变量提升时无法适用的对称低秩问题？

主要发现

• 所提高斯-牛顿框架在较弱条件下，能全局与局部收敛至非凸问题的驻点。
• 该算法在解的精度上显著优于广泛研究的交替方向法（ADM）。
• 当惩罚参数选择得当时，GN-ADMM算法能全局收敛至驻点。
• 该方法在对称低秩问题上表现有效，而标准ADMM在无变量提升时会失效。
• 在低秩逼近、矩阵补全、鲁棒恢复与量子层析成像上的数值实验结果令人鼓舞。
• 实验结果支持采用所提算法进行非凸优化，而非传统凸松弛方法。