[논문 리뷰] Linearly Convergent Randomized Iterative Methods for Computing the Pseudoinverse

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|2016. 12. 19.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 17

한 줄 요약

이 논문은 실수 행렬의 모어-펜로즈 역행렬을 계산하기 위한 최초의 선형 수렴 속도를 보장하는 랜덤화된 반복적 방법을 제안하며, 역행렬의 세 가지 변분 특성화를 활용한다. 제안된 SATAX 및 SAXAS 방법은 각각 일반 행렬과 대칭 행렬에 대해 선형 수렴을 달성하며, 특히 초기 반복에서 큰 규모의 문제에서 뉴턴-슐츠 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We develop the first stochastic incremental method for calculating the Moore-Penrose pseudoinverse of a real matrix. By leveraging three alternative characterizations of pseudoinverse matrices, we design three methods for calculating the pseudoinverse: two general purpose methods and one specialized to symmetric matrices. The two general purpose methods are proven to converge linearly to the pseudoinverse of any given matrix. For calculating the pseudoinverse of full rank matrices we present two additional specialized methods which enjoy a faster convergence rate than the general purpose methods. We also indicate how to develop randomized methods for calculating approximate range space projections, a much needed tool in inexact Newton type methods or quadratic solvers when linear constraints are present. Finally, we present numerical experiments of our general purpose methods for calculating pseudoinverses and show that our methods greatly outperform the Newton-Schulz method on large dimensional matrices.

연구 동기 및 목표

• 모어-펜로즈 역행렬을 계산하기 위한 최초의 스토하스틱 인크리멘탈 방법을 개발하여 증명 가능한 선형 수렴 속도를 확보한다.
• 빅데이터 환경에서 메모리와 계산 비용이 과도하여 SVD 및 뉴턴-슐츠 방법의 적용이 어려운 문제를 해결한다.
• 수렴 속도와 효율성을 향상시키기 위해 대칭 행렬을 위한 특화된 방법을 설계한다.
• 제약 조건이 있는 최적화 문제에 활용 가능한 범위 공간 사영의 효율적 근사화를 가능하게 한다.
• 랜덤화된 방법과 뉴턴-슐츠 방법의 장점을 융합하여, 각각의 방법보다 우수한 성능을 내는 하이브리드 알고리즘을 설계한다.

제안 방법

• 역행렬의 세 가지 변분 특성화(P1, P2, P3)를 활용하여 프로베니우스 노름 최소화 기반의 반복 업데이트 규칙을 유도한다.
• 일반 행렬을 위한 SATAX(Stochastic Averaged X)를 제안하며, 스케칭과 랜덤 서브스페이스에 대한 투영을 통해 역행렬 추정치를 갱신한다.
• 대칭 행렬을 위한 특화된 방법인 SAXAS(Stochastic Averaged X for Symmetric matrices)를 도입하며, 대칭 스케칭과 맞춤형 업데이트 규칙을 사용한다.
• 랜덤화된 스케칭 행렬 S를 사용하여 행렬 곱의 저랭크 근사(예: AS, A^TAS)를 계산함으로써 반복 계산 비용을 감소시킨다.
• 뉴턴-슐츠 방법의 수렴 조건을 만족시키기 위해 SATAX 반복값에 정규화 히우리스틱을 적용한 후 전환한다.
• 초기 단계의 랜덤화된 수렴과 뉴턴-슐츠의 국소 2차 수렴을 융합한 하이브리드 NS-SATAX 및 NS-SAXAS 방법을 설계한다.

실험 결과

연구 질문

• RQ1 역행렬을 계산하기 위한 랜덤화된 인크리멘탈 방법을 설계하여 선형 수렴 속도를 확보할 수 있는가?
• RQ2 SVD 및 뉴턴-슐츠 방법이 메모리나 시간 제약으로 인해 실패하는 대규모 행렬에서 역행렬을 효율적으로 계산할 수 있는가?
• RQ3 대칭 행렬을 위한 특화된 방법이 일반 목적의 랜덤화된 방법보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 랜덤화된 방법과 뉴턴-슐츠 방법을 최적의 전략으로 융합하여 전체 성능을 향상시킬 수 있는가?
• RQ5 랜덤화된 방법을 범위 공간 사영 근사로 확장할 수 있는가? 이는 제약 조건이 있는 최적화 응용에 유용하다.

주요 결과

• SATAX 및 SAXAS 방법은 각각 임의의 실수 행렬과 대칭 행렬에 대해 이론적으로 선형 수렴을 보이며, 역행렬에 수렴한다.
• 대규모 차원의 행렬에서 SATAX는 초기 반복에서 더 빠른 수렴 속도 덕분에 뉴턴-슐츠 방법보다 뛰어난 성능을 보인다.
• SATAX에서 한 번의 유효한 패assing 이후 뉴턴-슐츠로 전환하는 하이브리드 NS-SATAX 방법은 뉴턴-슐츠 방법만을 사용하는 경우보다 더 우수한 전반적인 성능을 달성한다.
• 실제 데이터셋인 a9a 및 gisette_scale에서, 대칭 행렬에 대해 SAXAS_uni 및 SAXAS_ada는 상대 잔차가 10^-6 이하에 도달하는 데 뉴턴-슐츠 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 랜덤으로 생성된 가우시안 행렬에서, 고정밀도 역행렬 계산에는 뉴턴-슐츠 방법이 여전히 더 효율적이므로, 하이브리드 접근 방식의 타당성을 뒷받침한다.
• 제안된 방법들은 범위 공간 사영의 효율적 근사화를 가능하게 하며, 이는 제약 조건이 있는 비정확 뉴턴 방법과 이차 프로그래밍 해법에 핵심적인 도구로 활용된다.