[논문 리뷰] Global consensus Monte Carlo

Lewis J. Rendell, Adam M. Johansen외 2명|arXiv (Cornell University)|2018. 07. 24.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 보조 매개변수를 갖는 도구적 계층 모델을 사용하여 글로벌 컨SENSUS 몬테카를로 샘플링을 가능하게 하는 분산 베이지안 추론 프레임워크를 제안한다. 보조 매개변수 간의 연관성 강도를 제어하는 상위 수준의 매개변수를 도입함으로써, 확장된 상태공간에서 효율적인 MCMC 및 SMC 알고리즘을 구현할 수 있으며, 강한 분포 가정 없이도 계산 효율성과 사후 정밀도 사이의 트레이드오프를 가능하게 한다.

ABSTRACT

To conduct Bayesian inference with large data sets, it is often convenient or necessary to distribute the data across multiple machines. We consider a likelihood function expressed as a product of terms, each associated with a subset of the data. Inspired by global variable consensus optimisation, we introduce an instrumental hierarchical model associating auxiliary statistical parameters with each term, which are conditionally independent given the top-level parameters. One of these top-level parameters controls the unconditional strength of association between the auxiliary parameters. This model leads to a distributed MCMC algorithm on an extended state space yielding approximations of posterior expectations. A trade-off between computational tractability and fidelity to the original model can be controlled by changing the association strength in the instrumental model. We further propose the use of a SMC sampler with a sequence of association strengths, allowing both the automatic determination of appropriate strengths and for a bias correction technique to be applied. In contrast to similar distributed Monte Carlo algorithms, this approach requires few distributional assumptions. The performance of the algorithms is illustrated with a number of simulated examples.

연구 동기 및 목표

• 단일 머신의 메모리나 계산 능력으로는 감당할 수 없는 대규모 데이터셋에 대한 베이지안 추론의 과제를 해결한다.
• 우리가 알고 있는 것처럼, 독립적인 체인의 최종 집계에 의존하고, 가능성이 강한 가정에 의존하는 초단순 병렬 MCMC 방법의 한계를 극복한다.
• 최종 집계 단계를 피하면서도 진정한 사후분포를 유지하는 분산 MCMC 및 SMC 프레임워크를 개발한다.
• 기존의 컨센서스 방법이 실패하는 고차원 또는 비정규 분포 가능성을 갖는 설정에서 효율적인 샘플링을 가능하게 한다.
• 수동 조정 없이도 최적의 정규화 강도를 자동으로 결정할 수 있는 편향 보정 및 적응형 SMC 절차를 제공한다.

제안 방법

• 각 데이터 블록에 대해 보조 매개변수를 갖는 도구적 계층 모델을 도입하며, 주된 매개변수 Z에 조건부 독립이다.
• 보조 매개변수 간의 무조건적 연관성 강도를 제어하는 상위 수준의 매개변수를 추가하여 계산의 타당성과 모델 정밀도 사이의 균형을 이룬다.
• Z와 보조 매개변수의 공동 사후분포를 목표로 하는 확장된 상태공간에서 MCMC 알고리즘을 구성한다.
• 추정치를 정밀화하고 편향 보정을 가능하게 하기 위해 연속적인 연관성 강도의 시퀀스를 사용하는 순차적 몬테카를로(SMC) 샘플러를 구현한다.
• SMC 프레임워크에서 가중 최소제곱법을 사용해 편향 보정을 수행함으로써 단일 정규화 매개변수에 대한 의존도를 감소시킨다.
• 동적으로 연관성 강도 값을 선택하는 적응형 절차(주 등, 2016)를 적용하여 수렴성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 최종 체인 집계에 의존하지 않고 분산 환경에서 베이지안 추론을 어떻게 효율적으로 수행할 수 있는가?
• RQ2 연관성 강도 매개변수는 계산 효율성과 사후 근사 정밀도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 적응형 정규화를 갖는 순차적 몬테카를로 접근법은 고정 매개변수 방법에 비해 추정 정밀도를 향상시키고 편향을 줄일 수 있는가?
• RQ4 기존의 컨센서스 몬테카를로 및 초단순 병렬 MCMC보다 어떤 설정에서 제안된 방법이 더 우수한가?
• RQ5 정규화 매개변수의 수동 조정 없이 후행 근사의 편향을 어떻게 자동으로 보정할 수 있는가?

주요 결과

• 적응형 멈춤 규칙을 갖는 SMC 기반 추정기에서는 평균 제곱오차 합이 초기 입자 집합(0.0692) 대비 47% 감소한 0.0367을 기록했다.
• 100회 반복 후 SMC 접근법은 추정 오차를 40% 감소시켜(0.0692에서 0.0418로), 단일 매개변수 방법보다 정확도가 향상됨을 보였다.
• 편향 보정 절차는 초기 추정기보다 뚜렷이 뛰어난 성능을 보였으며, 특히 적응형 멈춤 규칙과 조합했을 때 두드러졌다.
• 이 방법은 가능성이 강한 분포 가정이 필요 없어, 비정규 또는 고차원 모델에 적합하다.
• 컨센서스 몬테카를로가 높은 편향으로 실패하는 비정규 또는 고차원에서 정보가 부족한 가능성을 갖는 설정에서도 이 프레임워크는 효과적이다.
• 변수 분할 기법(예: Vono 등, 2019a)을 통해 순차적 구현과의 호환성으로 인해 이 방법은 분산 환경을 초월한 응용도 가능하다.