[논문 리뷰] Fast symmetric factorization of hierarchical matrices with applications

Sivaram Ambikasaran, Michael O’Neil외 1명|arXiv (Cornell University)|2014. 05. 01.

Electromagnetic Scattering and Analysis참고 문헌 36인용 수 12

한 줄 요약

이 논문은 통계, 기계학습, 물리학에서 발생하는 대규모 밀집 대칭 양의 정부호 계층 행렬, 특히 HODLR 행렬에 대해 $Ó(n\log^2 n)$ 복잡도를 달성하는 빠른 대칭 분해 알고리즘을 제안한다. 이는 새로운 저질서 갱신 공식과 재귀적 분할 정복 전략을 통해 이루어지며, 행렬의 역행렬 계산, 행렬식 계산, 상관된 난수 생성을 $Ó(n\log n)$ 비용으로 효율적으로 수행할 수 있다. 이는 가우시안 과정, 라디얼 기저 함수, 브라운 운동 시뮬레이션에서 검증된 스케일링 성능을 보인다.

ABSTRACT

We present a fast direct algorithm for computing symmetric factorizations, i.e. $A = WW^T$, of symmetric positive-definite hierarchical matrices with weak-admissibility conditions. The computational cost for the symmetric factorization scales as $\mathcal{O}(n \log^2 n)$ for hierarchically off-diagonal low-rank matrices. Once this factorization is obtained, the cost for inversion, application, and determinant computation scales as $\mathcal{O}(n \log n)$. In particular, this allows for the near optimal generation of correlated random variates in the case where $A$ is a covariance matrix. This symmetric factorization algorithm depends on two key ingredients. First, we present a novel symmetric factorization formula for low-rank updates to the identity of the form $I+UKU^T$. This factorization can be computed in $\mathcal{O}(n)$ time if the rank of the perturbation is sufficiently small. Second, combining this formula with a recursive divide-and-conquer strategy, near linear complexity symmetric factorizations for hierarchically structured matrices can be obtained. We present numerical results for matrices relevant to problems in probability \& statistics (Gaussian processes), interpolation (Radial basis functions), and Brownian dynamics calculations in fluid mechanics (the Rotne-Prager-Yamakawa tensor).

연구 동기 및 목표

• 통계, 기계학습, 물리학에서 발생하는 대규모 밀집 대칭 양의 정부호 계층 행렬에 대해 빠르고 직접적인 대칭 분해 방법을 개발하는 것.
• 기존 콜레스키 분해의 $Ó(n^3)$ 비용을 극복하기 위해 계층적 저질서 구조를 활용하는 것.
• 행렬 $A$가 공분산 행렬일 경우, 근사 최적의 상관된 난수 변수 생성을 가능하게 하는 것.
• 라디얼 기저 함수 보간 및 브라운 운동 응용 분야로 알고리즘을 확장하는 것, 특히 Rotne-Prager-Yamakawa 텐서를 활용하여.
• 약한 적합성 조건과 중첩된 저질서 기저를 갖는 행렬에 대해 확장 가능한 성능을 달성하는 것, HODLR 및 HSS 구조 포함.

제안 방법

• 작은 질서 $r$를 갖는 경우 $Ó(n)$ 시간 내에 계산 가능한, 항등행렬에 대한 저질서 갱신 공식 $I + UKU^T$를 위한 새로운 대칭 분해 공식을 제안한다.
• 이 공식을 재귀적 분할 정복 프레임워크에 적용하여 계층 행렬을 분해하고, 근사 선형 복잡도를 유지한다.
• 비대칭 블록이 약한 적합성 조건 하에서 저질서 행렬로 근사되는 트리 기반 계층 행렬 구조를 사용한다.
• 삼각행렬의 구조를 피하기 위해, 항등행렬에 대한 블록 저질서 갱신의 곱으로 인수 $W$를 구성한다.
• 비대칭 블록을 압축하기 위해 중첩된 저질서 기저를 활용하여 효율적인 재귀적 분해를 가능하게 한다.
• 차원에 따라 질서가 변화하는 Matérn 공분산 커널 및 RPY 이동도 텐서와 같은 다양한 행렬 유형에 알고리즘을 적응시킨다.

실험 결과

연구 질문

• RQ1 대규모 밀집 대칭 양의 정부호 계층 행렬의 대칭 분해를 근사 선형 시간 내에 수행할 수 있는가?
• RQ2 $I + UKU^T$에 대한 새로운 저질서 갱신 공식이 기존 콜레스키 기반 방법보다 더 빠른 대칭 분해를 가능하게 하는가?
• RQ3 약한 적합성 조건과 중첩된 저질서 기저를 갖는 HODLR 행렬에 대해 대칭 분해의 계산 복잡도는 얼마인가?
• RQ4 Rotne-Prager-Yamakawa 텐서를 사용한 가우시안 과정 및 브라운 운동과 같은 실제 응용에서 알고리즘이 어떻게 스케일링되는가?
• RQ5 2D 및 3D 입자 분포에서 관찰되는 변동하는 비대칭 블록 질서를 갖는 행렬로도 이 방법을 확장할 수 있는가?

주요 결과

• HODLR 행렬의 대칭 분해는 $Ó(n\log^2 n)$으로 스케일링되며, 기존 콜레스키 분해의 $Ó(n^3)$ 비용에 비해 크게 향상된다.
• 분해 후, 행렬의 역행렬 계산, 행렬식 계산, $W$의 적용은 모두 $Ó(n\log n)$으로 스케일링되어 효율적인 후속 연산을 가능하게 한다.
• Rotne-Prager-Yamakawa 텐서의 경우, 2D에서는 $Ó(n^2)$, 3D에서는 $Ó(n^{7/3})$으로 스케일링되며, 비대칭 블록의 질서가 증가하기 때문이다.
• 수치적 벤치마크는 1D, 2D, 3D에서 Matérn 공분산 커널에 대해 예측된 스케일링을 확인하였으며, 각각 허용 오차 $10^{-12}$, $10^{-9}$, $10^{-6​}$를 확보하였다.
• 가우시안 과정에 대해 $Ó(n\log n)$ 비용으로 독립된 표준 정규 난수에 $W$를 적용함으로써 근사 최적의 상관된 난수 변수 생성이 가능하다.
• 이 알고리즘은 HSS 행렬과 같은 다른 계층적 구조로 자연스럽게 확장 가능하며, 중첩된 저질서 기저를 사용할 경우 복잡도가 $Ó(p^2 n)$이 된다.