[논문 리뷰] Scalable iterative methods for sampling from massive Gaussian random vectors

Daniel Simpson, Ian Turner외 2명|arXiv (Cornell University)|2013. 12. 05.

Bayesian Methods and Mixture Models참고 문헌 51인용 수 6

한 줄 요약

이 논문은 차원에 독립적인 수렴성을 가지며, 막대한 차원을 가진 가우시안 마르코프 무작위 필드(GMRF)에서 샘플링하기 위한 확장 가능한 반복적 크릴로프 부분공간 방법을 제안한다. 특히 (블록) 순환 형식을 근사하는 구조적 정밀도 행렬을 활용함으로써 O(n log n)의 샘플링 복잡도를 달성하여, 대규모 공간 및 시공간 모델에서 효율적이고 고정밀도 추론이 가능하다.

ABSTRACT

Sampling from Gaussian Markov random fields (GMRFs), that is multivariate Gaussian ran- dom vectors that are parameterised by the inverse of their covariance matrix, is a fundamental problem in computational statistics. In this paper, we show how we can exploit arbitrarily accu- rate approximations to a GMRF to speed up Krylov subspace sampling methods. We also show that these methods can be used when computing the normalising constant of a large multivariate Gaussian distribution, which is needed for both any likelihood-based inference method. The method we derive is also applicable to other structured Gaussian random vectors and, in particu- lar, we show that when the precision matrix is a perturbation of a (block) circulant matrix, it is still possible to derive O(n log n) sampling schemes.

연구 동기 및 목표

• 고차원 가우시안 무작위 벡터에서 샘플링하는 데 발생하는 계산적 병목 현상을 해결하기 위해, 특히 대규모 공간 및 시공간 모델에서 베이지안 추론에 적용되는 데 초점을 맞춘다.
• 대규모 GMRF에서 표준 콜레스키 분해의 O(n³) 계산 비용과 O(n²) 메모리 요구량을 극복한다.
• 행렬을 명시적으로 형성하거나 저장할 필요가 없고, O(n) 메모리만을 요구하며, 적응형 오차 제어를 통해 임의의 정밀도를 달성할 수 있는 반복적 샘플링 방법을 개발한다.
• 정밀도 행렬의 구조(예: (블록) 순환 또는 토플리츠 형식)를 활용하여, 문제의 크기와 관계없이 수렴하는 샘플링을 가능하게 한다.
• 크릴로프 부분공간 방법의 적용 범위를 정규화 상수 계산 및 대규모 모델에서의 확장 가능한 MCMC 추론 지원으로 확장한다.

제안 방법

• 정밀도 행렬 Q를 명시적으로 형성하거나 저장하지 않고도 N(0, Q⁻¹)에서 근사적인 샘플을 계산하기 위해 크릴로프 부분공간 방법을 사용한다.
• Lanczos 알고리즘을 적용하여 Q⁻¹/²z의 크릴로프 부분공간 근사를 수행한다. 여기서 z는 표준 정규 벡터이다.
• 특히 (블록) 순환 행렬을 포함한 Q의 구조적 근사값을 활용하여, 푸리에 변환(FFT) 기반의 행렬-벡터 곱셈을 가능하게 한다.
• 특히 순환 행렬의 변형에 대해 O(n log n) 복잡도를 유지하는 조건부 전처리 전략을 도입한다.
• 정규화 상수를 추정하기 위해 허치슨 추정법(Hutchinson estimator)을 사용한다.
• 샘플링 방법을 MCMC 기반 알고리즘에 통합하여, 오차가 제어되는 비정확한 샘플러가 진정한 체인과 결합됨으로써 점점 정확한 수렴성을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 크릴로프 부분공간 방법이 대규모 GMRF에서 샘플링에 대해 차원에 독립적인 수렴성을 달성하도록 가속화할 수 있는가?
• RQ2 정밀도 행렬의 구조적 근사값((예: 순환 또는 토플리츠 형식)을 어떻게 활용하여 샘플링 복잡도를 O(n log n)로 감소시킬 수 있는가?
• RQ3 오차가 유한한 비정확한 샘플링 방법이 베이지안 모델에서 여전히 유효한 MCMC 추론을 가능하게 하는 정도는 어느 정도인가?
• RQ4 고차원 가우시안 분포의 정규화 상수는 반복적 크릴로프 기반 추정법을 통해 효율적으로 계산할 수 있는가?
• RQ5 문제 크기와 관계없이 수렴 속도를 유지하면서 확장 가능한 행렬 기반 없는 샘플링을 가능하게 하는 전처리 전략은 무엇인가?

주요 결과

• 정밀도 행렬이 (블록) 순환 행렬의 변형인 경우, 제안된 방법이 O(n log n) 샘플링 복잡도를 달성한다.
• 적응형 단계 제어를 적용한 크릴로프 부분공간 샘플링은 기하급수적 수렴보다 뛰어난 초기하급수적 수렴을 제공하여, 기존 반복적 해법의 수렴 속도를 크게 능가한다.
• 오차가 제어되는 비정확한 MCMC 기반 알고리즘은, 근사 오차가 일반적으로 몬테카를로 오차에 묻히기 때문에 여전히 점점 정확한 수렴성을 유지한다.
• 크릴로프 프레임워크 내에서 허치슨 추정법을 적용함으로써, 다변량 정규분포의 정규화 상수를 효율적으로 계산할 수 있다.
• (블록) 순환 근사 기반 전처리 전략은 직접 인수분해가 메모리 제약으로 인해 불가능한 문제에 대해서도 방법의 확장 가능성을 보장한다.
• 이 프레임워크는 일반적인 구조적 가우시안 벡터를 지원하며, 토플리츠 및 띠형 블록 토플리츠 행렬으로도 확장 가능하지만, 이 경우 계산 비용이 증가한다.