[논문 리뷰] Large-scale Log-determinant Computation through Stochastic Chebyshev Expansions

In‐Su Han, Dmitry Malioutov외 1명|arXiv (Cornell University)|2015. 03. 22.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 36

한 줄 요약

이 논문은 허친슨 방법을 통한 확률적 추적 추정과 체비셰프 다항식 전개를 조합하여, 큰 양의 정의 행렬 및 일반 비특이 행렬의 로그 행렬식을 근사하기 위한 선형 시간 무작위 알고리즘을 제안한다. 이 방법은 코レス키 분해에 비해 수배수로 더 빠른 시간 내에 높은 정확도의 근사를 달성하며, 조건 수와 샘플링 파라미터에 따라 엄밀한 오차 경계를 제공한다. 이로 인해 수천만 개의 변수를 가진 행렬의 로그 행렬식 계산이 가능해진다.

ABSTRACT

Logarithms of determinants of large positive definite matrices appear ubiquitously in machine learning applications including Gaussian graphical and Gaussian process models, partition functions of discrete graphical models, minimum-volume ellipsoids, metric learning and kernel learning. Log-determinant computation involves the Cholesky decomposition at the cost cubic in the number of variables, i.e., the matrix dimension, which makes it prohibitive for large-scale applications. We propose a linear-time randomized algorithm to approximate log-determinants for very large-scale positive definite and general non-singular matrices using a stochastic trace approximation, called the Hutchinson method, coupled with Chebyshev polynomial expansions that both rely on efficient matrix-vector multiplications. We establish rigorous additive and multiplicative approximation error bounds depending on the condition number of the input matrix. In our experiments, the proposed algorithm can provide very high accuracy solutions at orders of magnitude faster time than the Cholesky decomposition and Schur completion, and enables us to compute log-determinants of matrices involving tens of millions of variables.

연구 동기 및 목표

• 대규모 머신러닝 응용 분야에서 코レス키 분해를 통한 정확한 로그 행렬식 계산이 계산적으로 불가능한 문제를 해결하기 위해.
• 고차원 환경에서 로그 행렬식 근사에 대해 확장 가능하고 정확하며 병렬 처리가 가능한 알고리즘을 개발하기 위해.
• 행렬의 조건 수, 샘플링 크기, 다항식 차수에 따라 엄밀한 덧셈 및 곱셈 오차 경계를 수립하기 위해.
• 일반 비특이 행렬에 대해 로그 행렬식의 절대값을 계산하기 위해 이 방법을 확장하기 위해.
• 최대 2,500만 개의 변수를 포함하는 실제 및 합성 데이터 세트에서 실용적인 확장성과 정확도를 입증하기 위해.

제안 방법

• 알고리즘은 로그 행렬식을 행렬 급수의 추적으로 근사하기 위해 체비셰프 다항식 전개를 사용한다.
• 스토하스틱 추적 추정기(Hutchinson 방법)를 적용하여 랜덤 벡터와 효율적인 행렬-벡터 곱셈을 통해 추적을 추정한다.
• 알고리즘은 행렬-벡터 곱셈을 효율적으로 계산할 수 있는 능력에 의존하여 비제로 원소의 수에 비례하는 선형 시간 복잡도를 달성한다.
• 비대칭 또는 정의가 아닌 행렬의 경우, 대칭 부분의 로그 행렬식을 계산하거나 적절한 변환을 통해 절대값을 사용한다.
• 독립적인 랜덤 벡터와의 행렬-벡터 곱셈에 의존하므로 병렬 처리가 가능하다.
• 오차 경계는 행렬의 조건 수, 다항식 차수, 랜덤 샘플 수에 기반하여 유도된다.

실험 결과

연구 질문

• RQ1 무작위 알고리즘이 대규모 행렬에 대해 선형 시간 내에 높은 정확도의 로그 행렬식 근사를 달성할 수 있는가?
• RQ2 제안된 방법에서 조건 수와 샘플링 파라미터는 근사 오차에 어떤 영향을 미치는가?
• RQ3 이 방법은 이론적 오차 보장을 유지하면서 일반 비특이 행렬로 확장될 수 있는가?
• RQ4 정확도와 수렴 속도 측면에서 체비셰프 기반 근사와 테일러 기반 대안 간의 성능은 어떻게 비교되는가?
• RQ5 이 알고리즘은 수천만 개의 변수를 가진 행렬에 대해 서브세컨드 런타임을 유지하면서 확장 가능한가?

주요 결과

• 제안된 알고리즘은 일반 소비자 수준의 컴퓨터에서 최대 2,500만 개의 변수를 가진 행렬의 로그 행렬식을 몇 분 내에 계산할 수 있으며, 코レス키 분해에 비해 훨씬 빠르게 작동한다.
• 조건 수가 O(1)인 경우, 임의의 상수 ε > 0에 대해 알고리즘이 선형 시간 내에 ε-근사 보장을 제공한다(덧셈 또는 곱셈 기반).
• 큰 희박 행렬에 대해 정확한 코レス키 분해와 비교했을 때, 이 방법은 로그 행렬식 근사에서 99.9%의 정확도를 달성한다.
• 실험 결과, 1,000개의 샘플을 사용하더라도 체비셰프 기반 방법이 테일러 급수 기반 스토하스틱 추적 추정기보다 정확도에서 뛰어난 성능을 보였다.
• 알고리즘은 5,000×5000 크기의 가우시안 마르코프 랜덤 필드(2,500만 개의 변수)에서 최대우도 추정을 성공적으로 수행했으며, 숨겨진 매개변수 ρ = -0.22를 정확히 식별했다.
• 이 방법은 강력한 확장성과 병렬 처리 가능성을 보였으며, 분산 시스템을 활용해 더 큰 행렬로의 확장 가능성이 있다.