[論文レビュー] Computing Matrix Squareroot via Non Convex Local Search

Prateek Jain, Chi Jin+2 more|arXiv (Cornell University)|Jul 21, 2015

Sparse and Compressive Sensing Techniques参考文献 15被引用数 18

ひとこと要約

本稿では、正定値（PSD）行列の行列平方根を計算するための非凸勾配降下法を提案する。行列逆行列の計算を回避し、行列積のみを必要とすることで、固有値分解やテイラー展開に基づく手法と比較して高速かつスケーラブルな代替手法を提供する。反復誤差に対してもロバストであり、反復複雑度は $\kappa^{3/2}$ である。

ABSTRACT

We consider the problem of computing the squareroot of a positive semidefinite (PSD) matrix. Several fast algorithms (some based on eigenvalue decomposition and some based on Taylor expansion) are known to solve this problem. In this paper, we propose another way to solve this problem: a natural algorithm performing gradient descent on a non-convex formulation of the matrix squareroot problem. We show that on an $n imes n$ input PSD matrix ${M}$, if the initial point is well conditioned, then the algorithm finds an $\epsilon$-accurate solution in $O\left(\kappa^{3/2} \log \frac{\left\|{M} ight\|_F}{\epsilon} ight)$ iterations, where $\kappa$ is the condition number of $M$. Each iteration involves three matrix multiplications (and does not use either matrix inversions or solutions of linear system), giving a total run time of $O\left(n^{\omega}\kappa^{3/2}\log\frac{\left\|{M} ight\|_F}{\epsilon} ight)$, where $\omega$ is the matrix multiplication exponent. Furthermore we show that our algorithm is robust to errors in each iteration. We also show a lower bound of $\Omega(\kappa)$ iterations for our algorithm demonstrating that the dependence of our result on $\kappa$ is necessary. Existing analyses of similar algorithms (e.g., Newton's method) require commutativity of the input matrix with each iterate of the algorithm which is ensured by choosing the starting iterate carefully. Our analysis, on the other hand, is much more general and does not require each iterate to commute with the input matrix. Consequently, our result guarantees convergence from a wide range of starting points. More generally, our result demonstrates that non-convex optimization can be a viable approach to obtaining fast and robust algorithms. Our argument is quite general and we believe it will find application in designing such algorithms for other problems in numerical linear algebra.

研究の動機と目的

• 正定値（PSD）行列の行列平方根を高速かつロバストに計算するアルゴリズムの開発。
• 計算コストの高い行列逆行列や連立一次方程式の解法に依存しないようにすること。
• 反復列と入力行列の可換性を仮定しないまま、広範な初期点から収束保証を提供すること。
• 非凸最適化が数値線形代数分野において実用的で効率的なアプローチであることを示すこと。
• 提案手法の理論的反復複雑度の上限と、それに一致する下界を確立すること。

提案手法

• アルゴリズムは、行列平方根問題の非凸定式化に対する勾配降下を実行する。
• 各反復で行列逆行列や連立一次方程式の解法を一切使用せず、行列積のみを用いる。
• 収束を保証するために、良好に条件付けられた初期点でアルゴリズムを初期化する。
• 解析では、反復列と入力行列の可換性を仮定しないため、適用範囲が広がる。
• 収束速度は、入力行列 $M$ の条件数 $\kappa$ を用いて導出される。
• 各反復における誤差に対してもロバストであり、摂動下でも精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 非凸定式化における勾配降下は、高速かつ信頼性の高い行列平方根計算を達成できるか？
• RQ2 このような非凸アプローチの反復複雑度は何か？ また、条件数 $\kappa$ にどのように依存するか？
• RQ3 反復列と入力行列の可換性を仮定しないまま、広範な初期点から収束可能か？
• RQ4 条件数に依存する $\kappa^{3/2}$ の依存性はタイトか、それ以上に改善可能か？
• RQ5 非凸最適化は、高速な数値線形代数アルゴリズム設計の一般的手法として成立するか？

主な発見

• アルゴリズムは $O\left(\kappa^{3/2} \log \frac{\|M\|_F}{\epsilon}\right)$ 反復で $\epsilon$-精度の行列平方根を計算できる。
• 各反復で3回の行列積のみを必要とし、合計実行時間は $O\left(n^{\omega}\kappa^{3/2}\log\frac{\|M\|_F}{\epsilon}\right)$ となる。
• 各反復における誤差に対してもロバストであり、摂動下でも収束を維持する。
• 下界として $\Omega(\kappa)$ 反復が確立され、$\kappa^{3/2}$ の依存性が必須であることが示された。
• 反復列と入力行列の可換性を仮定しないため、広範な初期点から収束が可能である。
• 非凸最適化が数値線形代数分野において、高速かつロバストなアルゴリズムを導出可能であることを示した。