[논문 리뷰] Distributed Bayesian Varying Coefficient Modeling Using a Gaussian Process Prior

Rajarshi Guhaniyogi, Cheng Li외 2명|arXiv (Cornell University)|2020. 06. 01.

Statistical Methods and Inference참고 문헌 8인용 수 10

한 줄 요약

이 논문은 거대한 데이터셋에서 스케일러블한 추론을 가능하게 하기 위해 가우시안 프로세스 사전분포를 사용하는 분산 베이지안 변동 계수 모형을 제안한다. 데이터를 부분집합으로 나누고, 데이터 보정 알고리즘을 활용한 병렬 MCMC를 수행하며, Aggregated Monte Carlo (AMC) 사후분포를 통해 결과를 집계함으로써, 최소최대 최적의 사후수렴 속도를 달성하면서도 정확한 불확실성 측정과 계산 효율성을 유지한다.

ABSTRACT

Varying coefficient models (VCMs) are widely used for estimating nonlinear regression functions for functional data. Their Bayesian variants using Gaussian process priors on the functional coefficients, however, have received limited attention in massive data applications, mainly due to the prohibitively slow posterior computations using Markov chain Monte Carlo (MCMC) algorithms. We address this problem using a divide-and-conquer Bayesian approach. We first create a large number of data subsamples with much smaller sizes. Then, we formulate the VCM as a linear mixed-effects model and develop a data augmentation algorithm for obtaining MCMC draws on all the subsets in parallel. Finally, we aggregate the MCMC-based estimates of subset posteriors into a single Aggregated Monte Carlo (AMC) posterior, which is used as a computationally efficient alternative to the true posterior distribution. Theoretically, we derive minimax optimal posterior convergence rates for the AMC posteriors of both the varying coefficients and the mean regression function. We provide quantification on the orders of subset sample sizes and the number of subsets. The empirical results show that the combination schemes that satisfy our theoretical assumptions, including the AMC posterior, have better estimation performance than their main competitors across diverse simulations and in a real data analysis.

연구 동기 및 목표

• 거대한 데이터셋에서 가우시안 프로세스 사전분포를 갖는 변동 계수 모형(VCMs)에 기반한 MCMC 기반 베이지안 추론의 계산 비가능성을 해결하기 위해.
• 데이터 분할에도 불구하고 사후정확도와 불확실성 측정을 유지하는 스케일러블한 분산 베이지안 프레임워크를 개발하기 위해.
• 다변량 GP 사전분포의 실용적인 부드러움 조건 하에서 집계된 사후분포의 이론적 수렴 속도를 도출하기 위해.
• 기본 GP의 부드러움에 기반하여 부분집합 크기와 부분집합 수에 대한 실용적 지침을 제공하기 위해.

제안 방법

• 전체 데이터셋을 무작위로 복원 없이 추출하여 k개의 겹치지 않는 부분집합으로 나누어 병렬 계산을 가능하게 한다.
• 각 부분집합에서의 사후 표본 추출을 용이하게 하기 위해 VCM을 선형 혼합효과 모형으로 재구성한다.
• 각 부분집합 사후분포가 진짜 사후분포의 타당한 근사가 되도록 보장하기 위해 우도를 수정하는 DA 유형 알고리즘을 사용한다.
• 모든 부분집합에서의 MCMC 표본을 하나의 일관된 사후분포로 통합하기 위해 Aggregated Monte Carlo (AMC) 알고리즘을 개발한다.
• 이론적 분석을 통해 변동 계수와 평균 회귀 함수에 대한 최소최대 최적의 사후수렴 속도를 도출한다.
• 다변량 GP 사전분포의 부드러움 매개수 v와 차원 d에 기반하여 부분집합 표본 크기와 부분집합 수의 최적 순서를 정량화한다.

실험 결과

연구 질문

• RQ1 분할정복 베이지안 접근법이 GP 사전분포를 갖는 분산 VCM에서 최소최대 최적의 사후수렴 속도를 달성할 수 있는가?
• RQ2 계산 효율성과 통계적 정확도를 균형 잡기 위해 부분집합 수와 부분집합 크기는 어떻게 선택해야 하는가?
• RQ3 AMC 사후분포 집계 방법은 경쟁 방법에 비해 타당한 불확실성 측정을 유지하고 평균제곱오차를 감소시키는가?
• RQ4 DA 유형 알고리즘 하에서 부분집합 사후분포 근사의 정확성에 대한 이론적 근거는 무엇인가?
• RQ5 AMC 사후분포의 수렴 속도는 기저 GP의 부드러움과 색인 공간의 차원에 어떻게 의존하는가?

주요 결과

• 적절한 부드러움 조건 하에서 AMC 사후분포는 변동 계수와 평균 회귀 함수 양쪽에 대해 최소최대 최적의 사후수렴 속도를 달성한다.
• 이론적 분석을 통해 수렴 속도가 $ n^{-2v/(2v+d)} $의 순서를 가지며, GP 사전분포를 갖는 비모수 회귀의 최소최대 속도와 일치함을 보여준다.
• 실험 결과는 AMC 기반 조합 기법이 경쟁 방법에 비해 더 짧은 신뢰구간, 더 높은 유효 표본 크기, 더 낮은 평균제곱오차를 제공함을 보여준다.
• AMC 방법은 다양한 시뮬레이션과 실제 데이터에서 더 나은 명목상 커버리지 확률을 유지하여 강건한 불확실성 측정을 확인한다.
• 이 방법은 계산적으로 효율적이며 데이터 크기에 따라 잘 스케일링되어, 거대한 기능 데이터에 대한 실용적인 베이지안 추론을 가능하게 한다.