[논문 리뷰] The PowerURV algorithm for computing rank-revealing full factorizations

Abinand Gopal, Per‐Gunnar Martinsson|arXiv (Cornell University)|2018. 12. 14.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 4

한 줄 요약

PowerURV 알고리즘은 랜덤화된 부분공간 반복과 레벨-3 BLAS 연산을 활용하여 큰 행렬의 랭크-공개 전형 분해를 효율적으로 계산하는 랜덤화된 알고리즘이다. 이 알고리즘은 SVD와 유사한 성능을 보이며, 특히 수치적 랭크가 행렬 차원보다 크게 작지 않은 영역에서 전체 SVD보다 비용이 훨씬 낮은 근사적 최적의 저랭크 근사치를 달성한다.

ABSTRACT

Many applications in scientific computing and data science require the computation of a rank-revealing factorization of a large matrix. In many of these instances the classical algorithms for computing the singular value decomposition are prohibitively computationally expensive. The randomized singular value decomposition can often be helpful, but is not effective unless the numerical rank of the matrix is substantially smaller than the dimensions of the matrix. We introduce a new randomized algorithm for producing rank-revealing factorizations based on existing work by Demmel, Dumitriu and Holtz [Numerische Mathematik, 108(1), 2007] that excels in this regime. The method is exceptionally easy to implement, and results in close-to optimal low-rank approximations to a given matrix. The vast majority of floating point operations are executed in level-3 BLAS, which leads to high computational speeds. The performance of the method is illustrated via several numerical experiments that directly compare it to alternative techniques such as the column pivoted QR factorization, or the QLP method by Stewart.

연구 동기 및 목표

• 크고 중간 정도의 수치적 랭크를 가진 행렬에 대해 전체 SVD의 계산 비효율성을 해결한다.
• 목표 랭크가 행렬 차원보다 크게 작지 않은 영역에서 랜덤화된 SVD(RSVD)와 열 편향 QR(CPQR)의 한계를 극복한다.
• SVD의 정확성과 랜덤화 알고리즘의 속도를 결합한 방법을 개발한다.
• 단일이고 효율적인 분해를 통해 고품질의 저랭크 근사치를 가능하게 하는 랭크-공개 분해를 제공한다.
• 최신 고성능 아키텍처와의 호환성을 확보하기 위해 레벨-3 BLAS 연산에 의존하여 최적의 메모리 및 통신 효율성을 확보한다.

제안 방법

• 랜덤 프로젝션 행렬의 범위를 향상시키기 위해 파wer 반복을 사용한 랜덤화된 부분공간 반복을 적용한다.
• 프로젝션된 행렬에 대해 편향 없는 QR 분해를 적용하여 열공간의 기저를 추출한다.
• A = U R V* 형태의 URV 분해를 구성한다. 여기서 U는 정규직교 열을 가지며, R은 상삼각행렬이고, V는 직교행렬이다.
• PowerURV와 랜덤화된 SVD(RSVD) 간의 등가성을 활용하여 이론적 수렴 보장을 유도한다.
• 레벨-3 BLAS 커널을 통해 현대 하드웨어에서 고성능을 달성할 수 있도록 행렬-행렬 곱셈과 편향 없는 QR 분해만을 사용한다.
• 파워 반복을 통해 U의 선두 열이 주요 특이벡터와 일치하도록 하여 랭크-공개 성질을 보장한다.

실험 결과

연구 질문

• RQ1 랜덤화 알고리즘이 전체 SVD보다 계산 비용이 훨씬 낮은 근사적 최적의 저랭크 근사치를 달성할 수 있는가?
• RQ2 PowerURV 알고리즘이 CPQR, 전체 SVD, QLP 방법과 비교하여 정확도와 속도 측면에서 어떻게 성능을 내는가?
• RQ3 파워 반복은 랭크-공개 분해의 맥락에서 랜덤 기저의 품질을 얼마나 향상시키는가?
• RQ4 레벨-3 BLAS 연산만을 사용하면서도 고정밀도를 유지하면서도 효율적인 랭크-공개 분해를 계산할 수 있는가?
• RQ5 PowerURV와 랜덤화된 SVD(RSVD) 간의 근사 품질과 계산 비용 측면에서의 관계는 어떠한가?

주요 결과

• PowerURV는 전체 SVD보다 계산 비용이 상당히 낮은 근사적 최적의 저랭크 근사치를 달성하며, 특히 수치적 랭크가 행렬 차원보다 크게 작지 않은 경우에 뛰어난 성능을 보인다.
• 실제로 PowerURV는 랜덤화된 SVD(RSVD)의 정확도를 따라가지만, RSVD는 추가적인 한 번의 행렬-벡터 곱셈 덕분에 약간 더 뛰어난 성능을 보인다.
• 수치적 실험 결과, PowerURV는 CPQR보다 랭크-공개 품질 측면에서 뛰어나며, CPQR에서 발생할 수 있는 극단적으로 열악한 근사치를 피할 수 있다.
• 레벨-3 BLAS 연산에 의존함으로써 현대 하드웨어에서 매우 효율적인 성능을 발휘하여 고성능 연산 처리를 가능하게 한다.
• PowerURV 분해를 통해 단일이고 압축된 분해를 통해 고품질의 저랭크 근사치를 계산할 수 있으며, 임의의 랭크에서 잘라낼 수 있다.
• PowerURV와 RSVD 간의 이론적 등가성 덕분에 파워 반복을 사용할 경우 강력한 수렴 성질을 유도할 수 있다.