[논문 리뷰] Randomized Matrix Computations

Victor Y. Pan, Guoliang Qian외 1명|arXiv (Cornell University)|2012. 10. 28.

Tensor decomposition and applications참고 문헌 77인용 수 10

한 줄 요약

이 논문은 잘 조절된(random matrices) 성질을 활용하여 수치선형대수 알고리즘의 안정성을 높이는 랜덤라이즈드 행렬 계산을 소개한다. 고정된 랜덤 행렬(예: 가우시안, 순환, 하우스홀더 유형)을 악조건의 행렬에 사전 및 사후 곱하여, 피벗 없이도 수치적으로 안정적인 가우스 소거법, 저질서 근사, 텐서 분해를 가능하게 하며, 이론적 보장과 실험적 검증을 통해 희소 랜덤화 조건에서도 견고한 성능을 보임.

ABSTRACT

Random matrices tend to be well conditioned, and we employ this well known property to advance matrix computations. We prove that our algorithms employing Gaussian random matrices are efficient, but in our tests the algorithms have consistently remained as powerful where we used sparse and structured random matrices, defined by much fewer random parameters. We numerically stabilize Gaussian elimination with no pivoting as well as block Gaussian elimination, precondition an ill conditioned linear system of equations, compute numerical rank of a matrix without orthogonalization and pivoting, approximate the singular spaces of an ill conditioned matrix associated with its largest and smallest singular values, and approximate this matrix with low-rank matrices, with applications to its 2-by-2 block triangulation and to tensor decomposition. Some of our results and techniques can be of independent interest, e.g., our estimates for the condition numbers of random Toeplitz and circulant matrices and our variations of the Sherman--Morrison--Woodbury formula.

연구 동기 및 목표

• 악조건의 행렬에 대해 피벗 없이도 가우스 소거법의 수치적 불안정성을 해결하기 위해 랜덤라이즈드 전처리를 도입한다.
• 피벗 없이도 수치적 질서, 특이부공간, 저질서 근사를 계산하기 위한 효율적인 알고리즘을 개발한다.
• 무작위화를 통해 차단 가우스 소거법과 행렬 삼각분해의 적용 가능성을 악조건의 행렬로 확장한다.
• 밀도가 높은 가우시안 행렬 대신 희소하고 구조화된 랜덤 행렬(예: 순환, 하우스홀더)이 전처리에 효과적으로 사용될 수 있는지 조사한다.
• 랜덤 토플리츠 및 순환 행렬의 조건수에 대한 이론적 경계를 도출하고, Sherman–Morrison–Woodbury 공식과 같은 고전적 공식을 확장한다.

제안 방법

• 행렬 $ A $ 를 악조건으로 간주하고, $ XAY $ 가 높은 확률로 잘 조절된 조건을 가지도록 랜덤 행렬 $ X $ 와 $ Y $ 를 곱하여 전처리한다.
• 계산 비용을 줄이면서도 수치적 안정성을 유지하기 위해, 가우시안, 순환, 또는 하우스홀더 행렬을 사용하고, 랜덤 부호($\pm 1$)를 희소하게 적용한다.
• 랜덤 행렬의 역행렬 노름에 대한 확률적 경계를 사용하여, $ \kappa(XAY) $ 가 작을 가능성이 높음을 증명하고, 이로 인해 안정적인 가우스 소거법이 보장된다.
• 랜덤 행렬이 확률 1로 잘 조절된 조건을 가지므로, 행렬 계산에서 후방 오차 안정성이 보장됨을 활용한다.
• 전치를 허미트 전치로 대체하고, 특이값 및 노름에 대한 확률적 경계를 조정하여 복소수 행렬로 결과를 확장한다.
• Sherman–Morrison–Woodbury 공식 및 그 변형을 사용하여 행렬 역행렬을 효율적으로 갱신하고, 구조화된 선형 시스템을 해결한다.

실험 결과

연구 질문

• RQ1 악조건의 행렬에 대해 피벗 없이도 랜덤라이즈드 전처리가 가우스 소거법의 안정성을 높일 수 있는가?
• RQ2 희소하고 구조화된 랜덤 행렬(예: 순환, 하우스홀더)이 수치적 안정성을 유지하는 데 있어 밀도가 높은 가우시안 행렬을 얼마나 효과적으로 대체할 수 있는가?
• RQ3 랜덤 토플리츠 및 순환 행렬의 조건수에 대한 이론적 경계는 무엇인가?
• RQ4 피벗 없이도 저질서 근사 및 수치적 질서를 어떻게 계산할 수 있는가?
• RQ5 Sherman–Morrison–Woodbury 공식은 랜덤라이즈드 행렬 계산의 효율성을 향상시키기 위해 어떻게 확장될 수 있는가?

주요 결과

• 가우시안 랜덤 행렬을 사용한 전처리는 피벗 없이도 가우스 소거법이 확률 1로 수치적으로 안정됨을 보장한다.
• 희소하고 구조화된 랜덤 행렬(예: $\pm 1$ 부호를 가진 순환 또는 하우스홀더)을 사용할 경우, 실험 결과에 따르면 전처리의 효과가 유지됨을 확인하였다.
• 행렬 $ A $ 의 조건수가 랜덤 행렬 $ X $ 와 $ Y $ 를 곱한 후에 감소할 가능성이 높으며, $ \kappa(XAY) \leq \kappa(A)/\kappa(X)\kappa(Y) $ 를 만족하여 조건 개선이 가능함을 시사한다.
• 랜덤 행렬의 역행렬 노름에 대한 확률적 경계는 $ \text{Pr}(\|A^{-1}\| > 1/y) \to 0 $ 이며, $ y \to 0 $ 일 때 $ y $ 에 비례하여 감소함을 보여 안정성에 기여한다.
• 랜덤 토플리츠 및 순환 행렬의 조건수에 대한 이론적 추정치가 유도되었고, 유리한 성능을 보임이 입증됨.
• Sherman–Morrison–Woodbury 공식의 확장판이 개발되어 무작위 알고리즘에서 행렬 역행렬 계산 및 저질서 갱신을 가속화하는 데 적용됨.