[논문 리뷰] Computing the log-determinant of symmetric, diagonally dominant matrices in near-linear time

Timothy Hunter, A. El Alaoui외 1명|arXiv (Cornell University)|2014. 08. 08.

Complexity and Algorithms in Graphs참고 문헌 20인용 수 5

한 줄 요약

이 논문은 스펙트럴 스퍼서파이어와 몬테카를로 샘플링을 사용하여 대칭 대각우세(SDD) 행렬의 로그행렬식을 근사하는 근선형 시간 알고리즘인 UltraLogDet을 제시한다. 이 알고리즘은 높은 확률로 Õ(mϵ⁻²log³n log²(nκₐ/ϵ)) 시간 내에 ϵ-근사값을 도출하며, 여기서 m는 비제로 원소의 수이고 κₐ는 조건수이다. 이는 행렬 패턴이나 조건수에 대한 의존성이 로그 인자 이외에는 없으며, 이는 이와 같은 알고리즘이 처음으로 그러한 성질을 갖는 것이다.

ABSTRACT

We present new algorithms for computing the log-determinant of symmetric, diagonally dominant matrices. Existing algorithms run with cubic complexity with respect to the size of the matrix in the worst case. Our algorithm computes an approximation of the log-determinant in time near-linear with respect to the number of non-zero entries and with high probability. This algorithm builds upon the utra-sparsifiers introduced by Spielman and Teng for Laplacian matrices and ultimately uses their refined versions introduced by Koutis, Miller and Peng in the context of solving linear systems. We also present simpler algorithms that compute upper and lower bounds and that may be of more immediate practical interest.

연구 동기 및 목표

• 기존에 콜레스키 분해를 통해 O(n³) 시간이 소요되는 대규모 희소 대칭 대각우세(SDD) 행렬의 로그행렬식 계산에서 발생하는 계산 병목 현상을 해결한다.
• 일반적인 SDD 행렬에 대해 콜레스키 분해에서 발생하는 필-인 문제를 피하기 위해 직접 분해를 회피하고 스펙트럴 스퍼서파이어를 활용한다.
• 행렬의 조건수에 대한 의존성이 로그 항목 이외에는 없고, 비제로 원소의 수에 대해 거의 선형 시간 복잡도를 달성하는 방법을 개발한다.
• 주된 근선형 시간 근사 외에도 간단한 알고리즘을 통해 실용적인 상한과 하한을 제공한다.
• 공간 통계, 가우시안 프로세스, 통계역학 등에서 중요한 역할을 하는 로그행렬식의 확장 가능한 계산을 가능하게 한다.

제안 방법

• 스피르만과 텐의 초스퍼서파이어 및 쿠티스, 밀러, 펜그의 개선된 버전을 활용하여 SDD 행렬의 저스트레치 스패닝 트리와 스펙트럴 스퍼서파이어를 구성한다.
• 스퍼서파이드된 행렬에서의 랜덤 워크 기반 몬테카를로 샘플링 절차를 사용하여 행렬 로그의 트레이스를 거듭제곱 급수 전개를 통해 추정한다.
• 행렬 로그의 트레이스 항등식인 log|A| = Tr(log A)를 적용하고, M = A − I일 때 급수 ∑(−1)^i / (i+1) * M^i 를 사용해 log A 를 근사한다.
• 시리즈 전개의 빠른 수렴을 보장하기 위해 지면이 있는 라플라시안을 사용한 전처리 단계를 도입하여 조건수를 제어한다.
• 선형 연산자 C(Ax)를 반복 적용하여 벡터 체인 (x_i,j)를 구성함으로써 거듭제곱 급수의 항을 시뮬레이션하고, 오차는 스펙트럼 성질에 의해 제한한다.
• 집중 경계와 고확률 보장을 사용하여 몬테카를로 평균이 진짜 트레이스에서 벗어나지 않도록 제한하여, 높은 확률로 ϵ-근사값을 확보한다.

실험 결과

연구 질문

• RQ1 대칭 대각우세 행렬의 로그행렬식은 비제로 원소의 수에 대해 근선형 시간 내에 근사할 수 있는가?
• RQ2 알고리즘이 조건수에 대한 의존성이 로그 인자 이외에는 없도록 할 수 있는가? 이는 악조건이지만 희소한 SDD 행렬에 대한 확장 가능성에 기여한다.
• RQ3 스펙트럴 스퍼서파이어와 몬테카를로 샘플링을 조합하여 로그행렬식의 증명 가능하고 효율적인 근사값을 도출할 수 있는가?
• RQ4 대규모 SDD 행렬의 로그행렬식 근사에서 정확도, 런타임, 실용성 간의 상호 보완적 관계는 어떠한가?
• RQ5 더 단순한 알고리즘을 설계하여 실용적으로 유용하고 계산 비용이 낮은 상한과 하한을 제공할 수 있는가?

주요 결과

• UltraLogDet 알고리즘은 높은 확률로 Õ(mϵ⁻²log³n log²(nκₐ/ϵ)) 시간 내에 SDD 행렬의 로그행렬식에 대한 ϵ-근사값을 계산한다.
• 알고리즘의 복잡도는 조건수 κₐ에 대해 로그적으로만 의존하므로, 중간 정도의 조건수를 가진 행렬에 대해서도 강건하다.
• 비제로 원소의 수 m에 대해 거의 선형 의존성을 달성하여 기존 콜레스키 분해의 O(n³) 복잡도에 비해 크게 향상된다.
• 이론적 프레임워크는 스펙트럴 스퍼서파이어와 무작위 트레이스 추정을 조합하여, 행렬 로그의 거듭제곱 급수 전개를 가능하게 한다.
• 알고리즘의 더 단순한 변형은 실용적으로 유용하고 계산 비용이 낮은 로그행렬식의 상한과 하한을 제공한다.
• 알고리즘의 몬테카를로 핸들링은 본질적으로 병렬 처리가 가능하므로 분산 또는 GPU 가속 배포에 잠재적인 이점을 제공한다.