[논문 리뷰] Fast Simulation of Hyperplane-Truncated Multivariate Normal Distributions

Yulai Cong, Bo Chen외 1명|arXiv (Cornell University)|2016. 07. 16.

Soil Geostatistics and Mapping참고 문헌 38인용 수 9

한 줄 요약

이 논문은 초평면의 교차부분에서 잘린 다변량 정규(MVN) 분포에 대한 빠르고 정확한 시뮬레이션 알고리즘을 제시한다. 이 알고리즘은 비용이 많이 드는 코レス키 분해를 피하기 위해 투영 기반 샘플링을 활용한다. 이 방법은 구조화된 공분산 또는 정밀도 행렬을 가진 MVN 분포로 일반화 가능하며, 특히 정규화된 행렬에 낮은 질량의 대칭 행렬을 더하거나 빼서 표현되는 경우에 해당되며, 고차원에서 선형 계산 복잡도를 달성한다.

ABSTRACT

We introduce a fast and easy-to-implement simulation algorithm for a multivariate normal distribution truncated on the intersection of a set of hyperplanes, and further generalize it to efficiently simulate random variables from a multivariate normal distribution whose covariance (precision) matrix can be decomposed as a positive-definite matrix minus (plus) a low-rank symmetric matrix. Example results illustrate the correctness and efficiency of the proposed simulation algorithms.

연구 동기 및 목표

• 초평면의 교차부분에서 잘린 다변량 정규 분포에 대한 빠르고 정확한 시뮬레이션 알고리즘을 개발하기 위해.
• 특히 고차원 설정에서 비용이 많이 드는 코レス키 분해와 같은 전통적 방법의 계산 비효율성을 해결하기 위해.
• 고차원에서 정밀도 또는 공분산 행렬이 구조화된 MVN 분포에서의 효율적 샘플링을 위한 초평면 잘림 알고리즘의 일반화를 위해.
• 고차원 베이지안 모델, 예를 들어 수축 사전분포를 가진 고차원 회귀에서 확장 가능한 사후 샘플링을 가능하게 하기 위해.
• 특히 $p \gg n$ 인 경우에 고전적 기법인 게lesi 샘플링 또는 하미льт로니안 몬테카를로에 대한 실용적인 대안을 제공하기 위해.

제안 방법

• 표준 MVN 변량을 직접 초평면 교차부분 $\mathbf{G}\mathbf{x} = \mathbf{r}$에 투영하는 투영 기반 샘플링 방법을 제안하여 중간 변수를 피하기 위해.
• 선형 제약 조건 하에서 MVN의 조건부 분포를 이용해 잘린 변량의 결합분포를 유도하기 위해.
• 확장된 고차원 MVN의 공분산 행렬에 있는 블록 대각 행렬 구조를 활용하여 시뮬레이션을 단순화하기 위해.
• 초평면 잘림 알고리즘을 적용하여 정밀도 행렬이 알려진 역행렬에 낮은 질량의 업데이트를 가진 MVN 분포에서의 시뮬레이션을 수행하기 위해.
• 공분산 행렬이 $\boldsymbol{\Sigma} = \mathbf{B}^{-1} + \mathbf{U}\mathbf{U}^T$ 형태인 MVN 분포에 대해 이 방법을 일반화하기 위해, 여기서 $\mathbf{B}$는 가역이고 $\mathbf{U}$는 낮은 질량이다.
• 두 단계 샘플링 절차를 구현: 먼저 블록 대각 MVN에서 샘플링을 수행한 후, 최종 잘린 변량을 구하기 위해 선형 시스템을 해결하기 위해.

실험 결과

연구 질문

• RQ1 코レス키 분해나 게lesi 샘플링보다 초평면에서 잘린 다변량 정규 분포에서 더 효율적으로 시뮬레이션할 수 있는가?
• RQ2 정밀도 또는 공분산 행렬의 낮은 질량의 구조를 어떻게 활용하여 고차원 모델에서 MVN 시뮬레이션을 가속화할 수 있는가?
• RQ3 고차원 설정에서 제안된 알고리즘의 계산 복잡도는 표준 코レス키 기반 방법과 비교해 어떻게 되는가?
• RQ4 고차원 회귀와 같은 상황에서 기존 방법에 비해 제안된 방법이 상당한 성능 향상을 제공하는가?
• RQ5 초평면 잘림 알고리즘이 구조화된 정밀도 행렬을 가진 MVN 분포에서 효율적으로 샘플링하기 위해 일반화될 수 있는가?

주요 결과

• 낮은 질량 업데이트의 크기가 고정되어 있을 경우, 제안된 알고리즘은 차원 $p$에 대해 선형 계산 복잡도 $O(p)$를 달성하며, 표준 코レス키 분해의 $O(p^3)$ 복잡도에 비해 크게 승리한다.
• 시뮬레이션 결과는 $p \gg n$ 조건에서, 특히 고차원 회귀 설정에서, 알고리즘 4가 난이도 있는 코レス키 기반 샘플링보다 상당히 빠른 것으로 나타났다.
• 이 방법은 수축 사전분포를 가진 고차원 베이지안 선형 모델에서 효율적인 사후 샘플링을 가능하게 하며, 예를 들어 베이지안 라소나 호르네이시 모델에서 정밀도 행렬이 대각 행렬에 낮은 질량 업데이트를 가진 경우에 해당된다.
• 알고리즘은 정확하며, 고차원 제약 조건이 있는 MVN 문제에서 게lesi 샘플링이나 하미льт로니안 몬테카를로의 혼합 문제와 높은 계산 비용을 피한다.
• 실증 평가 결과, $k_2 < k_1$ 이며 $\boldsymbol{\Sigma}_{11}$ 이 빠른 샘플링에 적합한 특수한 구조를 가진 경우에도 이 방법이 정확성과 효율성을 유지하는 것으로 확인되었다.
• 이 방법은 Bhattacharya 등(2016)의 기존 방법을 일반화하며, $\boldsymbol{\Omega} = \mathbf{I}_n$ 인 경우에 그 효율적 샘플러를 특수한 경우로 회복한다.