[논문 리뷰] Computing Matrix Squareroot via Non Convex Local Search

Prateek Jain, Chi Jin외 2명|arXiv (Cornell University)|2015. 07. 21.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 18

한 줄 요약

이 논문은 정규 반정방행렬(PSD) 행렬의 행렬 제곱근을 계산하기 위한 비볼록 경사하강법을 제안한다. 행렬 역행렬을 피하고 행렬 곱셈만을 요구하며, 반복 오차에 대해 강건한 성능을 보이며, $\kappa^{3/2}$ 반복 복잡도를 달성하여 고유값 또는 테일러 기반 방법에 비해 빠르고 확장 가능한 대안을 제공한다.

ABSTRACT

We consider the problem of computing the squareroot of a positive semidefinite (PSD) matrix. Several fast algorithms (some based on eigenvalue decomposition and some based on Taylor expansion) are known to solve this problem. In this paper, we propose another way to solve this problem: a natural algorithm performing gradient descent on a non-convex formulation of the matrix squareroot problem. We show that on an $n imes n$ input PSD matrix ${M}$, if the initial point is well conditioned, then the algorithm finds an $\epsilon$-accurate solution in $O\left(\kappa^{3/2} \log \frac{\left\|{M} ight\|_F}{\epsilon} ight)$ iterations, where $\kappa$ is the condition number of $M$. Each iteration involves three matrix multiplications (and does not use either matrix inversions or solutions of linear system), giving a total run time of $O\left(n^{\omega}\kappa^{3/2}\log\frac{\left\|{M} ight\|_F}{\epsilon} ight)$, where $\omega$ is the matrix multiplication exponent. Furthermore we show that our algorithm is robust to errors in each iteration. We also show a lower bound of $\Omega(\kappa)$ iterations for our algorithm demonstrating that the dependence of our result on $\kappa$ is necessary. Existing analyses of similar algorithms (e.g., Newton's method) require commutativity of the input matrix with each iterate of the algorithm which is ensured by choosing the starting iterate carefully. Our analysis, on the other hand, is much more general and does not require each iterate to commute with the input matrix. Consequently, our result guarantees convergence from a wide range of starting points. More generally, our result demonstrates that non-convex optimization can be a viable approach to obtaining fast and robust algorithms. Our argument is quite general and we believe it will find application in designing such algorithms for other problems in numerical linear algebra.

연구 동기 및 목표

• 양의 준정방행렬(PSD) 행렬의 행렬 제곱근을 계산하기 위한 빠르고 강건한 알고리즘을 개발하기 위해.
• 계산 비용이 많이 드는 행렬 역행렬 또는 선형 시스템 해법에 의존하지 않기 위해.
• 반복값과 입력 행렬 간의 가환성 조건이 필요 없이 다양한 초기값에서 수렴 보장을 제공하기 위해.
• 비볼록 최적화가 수치선형대수에서 실용적이고 효율적인 접근법이 될 수 있음을 보여주기 위해.
• 제안된 방법에 대해 이론적 반복 복잡도 상한과 해당 하한을 확립하기 위해.

제안 방법

• 알고리즘은 비볼록 형태의 행렬 제곱근 문제에 대해 경사하강법을 수행한다.
• 각 반복에서 행렬 역행렬이나 선형 시스템을 풀지 않고 오직 행렬 곱셈만을 사용한다.
• 수렴을 보장하기 위해 잘 조절된 초기값으로 알고리즘을 초기화한다.
• 분석 과정에서 반복값이 입력 행렬와 가환성이 필요하지 않아 적용 범위가 넓어진다.
• 수렴 속도는 입력 행렬 $M$의 조건수 $\kappa$를 사용하여 유도된다.
• 각 반복에서 발생하는 오차에 대해 강건하여 정확도를 유지함을 보였다.

실험 결과

연구 질문

• RQ1 비볼록 형태의 경사하강법이 행렬 제곱근 계산을 신속하고 신뢰성 있게 달성할 수 있는가?
• RQ2 이러한 비볼록 접근법의 반복 복잡도는 무엇이며, 조건수 $\kappa$에 따라 어떻게 척도가 되는가?
• RQ3 입력 행렬와의 가환성이 필요 없이 다양한 초기값에서 수렴할 수 있는가?
• RQ4 $\kappa^{3/2}$ 의 조건수 의존성은 날카롭게 유지되는가, 아니면 향상시킬 수 있는가?
• RQ5 비볼록 최적화는 빠른 수치선형대수 알고리즘 설계를 위한 일반적인 도구가 될 수 있는가?

주요 결과

• 알고리즘은 $O\left(\kappa^{3/2} \log \frac{\|M\|_F}{\epsilon}\right)$ 반복 내에 $\epsilon$-정확한 행렬 제곱근을 계산한다.
• 각 반복에서 오직 세 번의 행렬 곱셈만 필요하여 총 실행시간은 $O\left(n^{\omega}\kappa^{3/2}\log\frac{\|M\|_F}{\epsilon}\right)$ 이다.
• 알고리즘은 각 반복의 오차에 대해 강건하여 편향이 있을 경우에도 수렴을 유지한다.
• 하한선으로 $\Omega(\kappa)$ 반복이 확립되어 $\kappa^{3/2}$ 의 조건수 의존성이 필수적임을 보였다.
• 반복값과 입력 행렬 간의 가환성 조건이 필요 없어 광범위한 초기값에서 수렴 가능함을 보였다.
• 비볼록 최적화가 수치선형대수 분야에서 빠르고 강건한 알고리즘을 도출할 수 있음을 입증하였다.