[논문 리뷰] Blocked rank-revealing QR factorizations: How randomized sampling can be used to avoid single-vector pivoting

Per‐Gunnar Martinsson|arXiv (Cornell University)|2015. 05. 29.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 12

한 줄 요약

이 논문은 기존의 단일 벡터 열 편향 기반의 QR 분해를 대체하여 랜덤 샘플링을 사용해 피벗 벡터 블록을 선택하는 블록화된 랭크-논현 QR 분해를 제안한다. 이는 효율적인 BLAS3 연산을 가능하게 하고, 대규모 또는 분산 환경에서의 성능 향상을 이룬다. 방법은 R의 대각성분이 특이값에 근접하게 함으로써 근사적으로 최적의 저랭크 근사 정확도를 달성하며, O(mn min(m,n))의 연산량을 유지하면서 통신 제약 환경에서의 데이터 이동을 크게 줄인다.

ABSTRACT

Given a matrix $A$ of size $m imes n$, the manuscript describes a algorithm for computing a QR factorization $AP=QR$ where $P$ is a permutation matrix, $Q$ is orthonormal, and $R$ is upper triangular. The algorithm is blocked, to allow it to be implemented efficiently. The need for single vector pivoting in classical algorithms for computing QR factorizations is avoided by the use of randomized sampling to find blocks of pivot vectors at once. The advantage of blocking becomes particularly pronounced when $A$ is very large, and possibly stored out-of-core, or on a distributed memory machine. The manuscript also describes a generalization of the QR factorization that allows $P$ to be a general orthonormal matrix. In this setting, one can at moderate cost compute a extit{rank-revealing} factorization where the mass of $R$ is concentrated to the diagonal entries. Moreover, the diagonal entries of $R$ closely approximate the singular values of $A$. The algorithms described have asymptotic flop count $O(m\,n\,\min(m,n))$, just like classical deterministic methods. The scaling constant is slightly higher than those of classical techniques, but this is more than made up for by reduced communication and the ability to block the computation.

연구 동기 및 목표

• 대규모 또는 분산 컴퓨팅 환경에서 기존의 단일 벡터 열 편향 기반 QR 분해의 성능 저하 문제를 해결하기 위해.
• 데이터 이동을 줄이고 BLAS3 연산의 활용도를 향상시키기 위해 QR 분해의 효율적 블록화를 위해 랜덤 샘플링을 사용하기 위해.
• R의 대각성분이 A의 특이값에 근접하게 되는 랭크-논현 QR 변형을 개발하여 고품질의 저랭크 근사를 가능하게 하기 위해.
• 편향 행렬을 순열 행렬에서 하우스홀더 반사행렬의 곱으로 일반화하여, 점근적 복잡도를 증가시키지 않으면서도 근사 정확도를 향상시키기 위해.

제안 방법

• 알고리즘은 랜덤 샘플링을 사용하여 행렬의 범위에 기여할 가능성이 높은 열 블록을 식별함으로써 순차적 단일 벡터 편향을 대체한다.
• P가 하우스홀더 행렬의 곱 또는 순열 행렬인 블록화된 QR 분해 A P ≈ Q R를 하우스홀더 반사행렬을 사용해 계산한다.
• 랜덤 샘플링 단계는 현재 행렬 블록의 범위를 추정하기 위해 무작위 벡터의 집합을 선택함으로써, 명시적 SVD나 반복 보정 없이도 피벗 블록을 선택할 수 있게 한다.
• 이 방법은 표준 QR 분해에 블록 편향을 적용하는 것과, P가 하우스홀더 반사행렬로 구성된 정규직교 행렬인 일반화된 랭크-논현 변형을 모두 지원한다.
• BLAS3 연산을 효율적으로 활용할 수 있도록 설계되어 현대 아키텍처 및 외부 메모리 또는 분산 시스템에서의 성능 향상을 이룬다.
• 알고리즘은 고전적 QR과 동일한 점근적 O(mn min(m,n))의 계산 비용을 유지하지만, 샘플링 오버헤드로 인해 약간 더 높은 상수 계수를 가진다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링을 사용해 단일 벡터 열 편향 기반의 QR 분해에서 이를 대체할 수 있는가? 이 경우 수치적 안정성과 정확도는 유지되는가?
• RQ2 랜덤 피벗 선택을 통한 QR 분해의 블록화가 데이터 이동을 줄임으로써 대규모 또는 분산 행렬에서 성능 향상을 이룰 수 있는가?
• RQ3 정규직교 피벗 행렬(예: 하우스홀더 기반)을 사용하는 일반화된 QR 분해가 표준 RRQR보다 더 뛰어난 저랭크 근사 정확도를 제공할 수 있는가?
• RQ4 제안된 블록 RRQR 프레임워크에서 R의 대각성분이 A의 특이값을 얼마나 잘 근사하는가?
• RQ5 대규모 QR 분해에서 랜덤 샘플링을 사용할 경우와 고전적 편향 기반 방법을 사용할 경우, 계산 비용과 근사 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 랜덤 샘플링 기반 블록 RRQR은 특히 프로베니우스 노름에서 트렁케이티드 SVD와 유사한 저랭크 근사 오차를 달성하며, 고전적 열 편향 기반 QR보다 뛰어난 성능을 보인다.
• 블록RRQR 방법에서 R의 대각성분이 A의 특이값에 근접하게 근사됨을 확인하여, 이 방법이 랭크-논현 성질을 잘 유지함을 입증한다.
• 순열 행렬 대신 하우스홀더 기반 피벗 행렬을 사용하면 근사 정확도가 크게 향상되며, 특히 특이값이 느리게 감쇠하는 행렬의 경우 두드러진 성능 향상을 보인다.
• 이 방법은 통신 비용을 줄이고 BLAS3 연산을 효율적으로 활용함으로써, 약간 더 높은 연산량을 가짐에도 불구하고 분산 또는 외부 메모리 시스템에서 뛰어난 성능을 발휘한다.
• 특이값이 S자 형태로 감쇠하는 행렬에 대한 수치 실험 결과, 기존 방법이 어려움을 겪는 도전적인 케이스에서도 랜덤 블록 방법이 높은 정확도를 유지함을 보였다.
• 행렬 크기와 블록 크기에 따라 잘 스케일링되며, 전체 SVD가 비가능한 대규모 문제에서 뛰어난 강건성과 효율성을 입증했다.