[论文解读] Computing Matrix Squareroot via Non Convex Local Search

Prateek Jain, Chi Jin+2 more|arXiv (Cornell University)|Jul 21, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用 18

一句话总结

本文提出了一种非凸梯度下降算法，用于计算正定（PSD）矩阵的矩阵平方根。该算法实现了 $\kappa^{3/2}$ 的迭代复杂度，对迭代误差具有鲁棒性，避免了矩阵求逆，仅需矩阵乘法，提供了一种快速、可扩展的替代方法，相较于基于特征值或泰勒展开的方法更具优势。

ABSTRACT

We consider the problem of computing the squareroot of a positive semidefinite (PSD) matrix. Several fast algorithms (some based on eigenvalue decomposition and some based on Taylor expansion) are known to solve this problem. In this paper, we propose another way to solve this problem: a natural algorithm performing gradient descent on a non-convex formulation of the matrix squareroot problem. We show that on an $n imes n$ input PSD matrix ${M}$, if the initial point is well conditioned, then the algorithm finds an $\epsilon$-accurate solution in $O\left(\kappa^{3/2} \log \frac{\left\|{M} ight\|_F}{\epsilon} ight)$ iterations, where $\kappa$ is the condition number of $M$. Each iteration involves three matrix multiplications (and does not use either matrix inversions or solutions of linear system), giving a total run time of $O\left(n^{\omega}\kappa^{3/2}\log\frac{\left\|{M} ight\|_F}{\epsilon} ight)$, where $\omega$ is the matrix multiplication exponent. Furthermore we show that our algorithm is robust to errors in each iteration. We also show a lower bound of $\Omega(\kappa)$ iterations for our algorithm demonstrating that the dependence of our result on $\kappa$ is necessary. Existing analyses of similar algorithms (e.g., Newton's method) require commutativity of the input matrix with each iterate of the algorithm which is ensured by choosing the starting iterate carefully. Our analysis, on the other hand, is much more general and does not require each iterate to commute with the input matrix. Consequently, our result guarantees convergence from a wide range of starting points. More generally, our result demonstrates that non-convex optimization can be a viable approach to obtaining fast and robust algorithms. Our argument is quite general and we believe it will find application in designing such algorithms for other problems in numerical linear algebra.

研究动机与目标

• 开发一种快速且鲁棒的算法，用于计算正定（PSD）矩阵的矩阵平方根。
• 避免依赖于计算成本较高的矩阵求逆或线性系统求解。
• 在无需迭代值与输入矩阵可交换的条件下，从广泛初始点出发提供收敛性保证。
• 证明非凸优化在数值线性代数中可作为一种可行且高效的方法。
• 为所提方法建立理论迭代复杂度上界，并给出匹配的下界。

提出的方法

• 该算法在矩阵平方根问题的非凸形式上执行梯度下降。
• 每次迭代仅使用矩阵乘法，避免了矩阵求逆或求解线性系统。
• 通过选择一个条件良好的初始点来初始化该方法，以确保收敛。
• 分析过程不要求迭代值与输入矩阵可交换，从而扩大了适用范围。
• 收敛速率通过输入矩阵 $M$ 的条件数 $\kappa$ 推导得出。
• 该算法被证明对每次迭代中的误差具有鲁棒性，能在扰动下保持精度。

实验结果

研究问题

• RQ1 在非凸形式上使用梯度下降能否实现快速且可靠的矩阵平方根计算？
• RQ2 此类非凸方法的迭代复杂度是多少？其与条件数 $\kappa$ 的关系如何？
• RQ3 该算法能否在不依赖于与输入矩阵可交换的条件下，从广泛初始点收敛？
• RQ4 对条件数的 $\kappa^{3/2}$ 依赖关系是否紧致，或可进一步改进？
• RQ5 非凸优化能否成为设计快速数值线性代数算法的一般性工具？

主要发现

• 该算法在 $O\left(\kappa^{3/2} \log \frac{\|M\|_F}{\epsilon}\right)$ 次迭代内计算出 $\epsilon$-精度的矩阵平方根。
• 每次迭代仅需三次矩阵乘法，总运行时间为 $O\left(n^{\omega}\kappa^{3/2}\log\frac{\|M\|_F}{\epsilon}\right)$。
• 该方法对每次迭代中的误差具有鲁棒性，在扰动下仍能保持收敛。
• 建立了 $\Omega(\kappa)$ 次迭代的下界，表明 $\kappa^{3/2}$ 的依赖关系是必要的。
• 分析过程不要求迭代值与输入矩阵可交换，从而支持从广泛初始点集合收敛。
• 该方法表明，非凸优化可在数值线性代数中产生快速且鲁棒的算法。