[논문 리뷰] Rapid factorization of structured matrices via randomized sampling

Per‐Gunnar Martinsson|ArXiv.org|2008. 06. 13.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 이질적 블록이 낮은 수치적 질량을 가지는 구조적 행렬의 계층적 반가역행렬(HSS) 분해를 신속하게 계산하기 위한 랜덤 샘플링 알고리즘을 제시한다. 빠른 행렬-벡터 곱셈과 효율적인 랜덤 샘플링을 활용함으로써, $N$은 행렬 크기이고 $k$는 이질적 블록의 최대 질량임을 감안해 $O(Nk^2)$의 복잡도를 달성하며, 이는 근사적으로 최적의 낮은 질량 근사와 높은 정확도, 근본적으로 무시할 수 있는 실패 확률을 가능하게 한다.

ABSTRACT

Randomized sampling has recently been demonstrated to be an efficient technique for computing approximate low-rank factorizations of matrices for which fast methods for computing matrix vector products are available. This paper describes an extension of such techniques to a wider class of matrices that are not themselves rank-deficient, but have off-diagonal blocks that are. Such matrices arise frequently in numerical analysis and signal processing, and there exist several methods for rapidly performing algebraic operations (matrix-vector multiplications, matrix factorizations, matrix inversion, extit{etc}) on them once low-rank approximations to all off-diagonal blocks have been constructed. The paper demonstrates that if such a matrix can be applied to a vector in O(N) time, where the matrix is of size $N imes N$, and if individual entries of the matrix can be computed rapidly, then in many cases, the task of constructing approximate low-rank factorizations for all off-diagonal blocks can be performed in $O(N k^{2})$ time, where $k$ is an upper bound for the numerical rank of the off-diagonal blocks.

연구 동기 및 목표

• 구조적 행렬의 HSS 분해를 신속하고 확장 가능한 방법으로 계산하고자 하며, 이는 본질적으로 낮은 질량이 아니지만 이질적 블록은 낮은 질량을 가지는 경우를 대상으로 한다.
• 이미 분해된 HSS 행렬에 대한 연산은 빠른 알고리즘이 존재하나, HSS 요소의 효율적 구성에 대한 격차를 메우고자 한다.
• 오직 빠른 행렬-벡터 승수와 개별 행렬 원소에 대한 액세스가 가능한 환경에서 HSS 분해를 가능하게 하고자 한다.
• 높은 정확도와 사용자 제어가 가능한 실패 확률을 유지하면서도 $O(Nk^2)$의 계산 복잡도를 달성하고자 한다.
• 대칭 행렬에 국한되지 않고 비대칭 및 일반적인 구조적 행렬에까지 랜덤 샘플링 기법의 적용 범위를 확장하고자 한다.

제안 방법

• 이 방법은 $O(N(k+10))$개의 가우시안 랜덤 벡터를 사용하여 행렬의 구조를 탐색하고 이질적 블록의 낮은 질량 근사를 추출한다.
• 빠른 행렬-벡터 곱셈 $A^\top R^{\rm row}$과 $A R^{\rm col}$을 각각 활용해 표본 행렬 $S^{\rm row}$와 $S^{\rm col}$을 구성함으로써 열공간과 행공간을 포괄한다.
• 각 계층 수준에서 표본을 저차원 기저로 압축하기 위해 보간법을 적용하여 HSS 요소 $\hat{U}_\tau^{\rm row}$, $\hat{U}_\tau^{\rm col}$, $B_{\sigma_1\sigma_2}$를 형성한다.
• 중간 행렬에 대해 QR 및 SVD 분해를 수행하여 정규직교성을 강제하고 정확한 낮은 질량 표현을 추출한다.
• 비대칭 행렬의 경우, 별도의 행 및 열 샘플링 행렬 $S^{\rm row}_\tau$와 $S^{\rm col}_\tau$를 사용하며, 각각 다른 보간 및 압축 단계를 거친다.
• 실패 확률은 $k+10$의 오버샘플링 파라미터를 통해 제어되며, 이로 인해 실패 확률이 $10^{-5}$ 이하로 유지되며 높은 신뢰도를 확보한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링 기법이 이질적 블록이 낮은 질량을 가지는 구조적 행렬의 HSS 분해에 효과적으로 적용될 수 있는가?
• RQ2 오직 행렬-벡터 곱셈과 원소 평가만을 사용하여 HSS 요소를 구성할 경우의 계산 복잡도는 무엇인가?
• RQ3 실제 응용에서 실패 확률을 최소화하면서도 높은 정확도를 유지할 수 있는가?
• RQ4 최소한의 수정으로 비대칭 행렬에 대해서도 이 방법을 일반화할 수 있는가?
• RQ5 랜덤 HSS 분해 과정에서 계산 비용과 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 총 계산 비용은 $T_{\rm total} \sim T_{\rm mult} \times 2(k+10) + T_{\rm rand} \times N(k+10) + T_{\rm entry} \times 2Nk + T_{\rm flop} \times cNk^2$로 유계이며, $c$는 작은 상수이다.
• 만약 $T_{\rm mult} = O(N)$이라면 전체 복잡도는 $O(Nk^2)$가 되어 큰 행렬에 대해서도 확장 가능하다.
• 오버샘플링 $k+10$ 덕분에 실패 확률이 증명적으로 $10^{-5}$ 이하이며, 실질적으로는 훨씬 더 작다.
• 시험 환경에서 낮은 질량 근사의 상대 오차는 항상 $10^{-10}$ 이하로 유지된다.
• 최소한의 오버샘플링으로도 높은 정확도를 달성하며, 랜덤 기반 방법은 실질적으로 강건하고 신뢰할 수 있다.
• 이 알고리즘은 약간의 조정만으로 HSS, $\mathcal{H}^2$-행렬 및 관련 계층적 행렬 형식에 직접 적용 가능하다.