[논문 리뷰] Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC

Guanyang Wang, Tianze Wang|arXiv (Cornell University)|2022. 04. 11.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 비가역 분포 하에서 기대값의 함수와 중첩 기대값을 추정하기 위해 비편향 MCMC와 MLMC를 결합한 새로운 비편향 다수준 몽테카를로(MLMC) 프레임워크를 제안한다. 이는 최적의 $O(1/ε^2)$ 계산 복잡도와 유한한 분산을 갖는 병렬 계산을 가능하게 하여 ε-정확도를 효율적으로 달성한다.

ABSTRACT

Constructing unbiased estimators from Markov chain Monte Carlo (MCMC) outputs is a difficult problem that has recently received a lot of attention in the statistics and machine learning communities. However, the current unbiased MCMC framework only works when the quantity of interest is an expectation, which excludes many practical applications. In this paper, we propose a general method for constructing unbiased estimators for functions of expectations and extend it to construct unbiased estimators for nested expectations. Our approach combines and generalizes the unbiased MCMC and Multilevel Monte Carlo (MLMC) methods. In contrast to traditional sequential methods, our estimator can be implemented on parallel processors. We show that our estimator has a finite variance and computational complexity and can achieve $\varepsilon$-accuracy within the optimal $O(1/\varepsilon^2)$ computational cost under mild conditions. Our numerical experiments confirm our theoretical findings and demonstrate the benefits of unbiased estimators in the massively parallel regime.

연구 동기 및 목표

• 대상 분포가 비가역이고 오직 MCMC 출력만 이용 가능한 상황에서 일반적인 기대값 기능에 대한 비편향 추정자 구축의 과제를 해결한다.
• 기존의 비편향 MCMC 방법을 단순한 기대값을 넘어서 비율, 분위수, 중첩 기대값과 같은 복잡한 기능으로 확장한다.
• MCMC 출력에서 편향을 제거함으로써 프로세서 간 통신이 필요 없이 대량 병렬 계산을 가능하게 한다.
• 약간의 조건 하에 ε-정확도를 위해 최적의 계산 복잡도 $O(1/\varepsilon^2)$ 를 달성하고, 분산이 유한하다.
• 중첩 기대값과 비선형 기대값 기능(영역 제약 조건이 있는 경우 포함)을 다룰 수 있도록 프레임워크를 일반화한다.

제안 방법

• 비가역 분포 하에서 $g(\mathbb{E}_\pi[f])$ 를 위한 비편향 추정자를 구성하기 위해 비편향 MCMC(예: 베르누이 희소화 방법을 통한 커플링 MCMC)와 다수준 몽테카를로를 통합한다.
• 중첩 설정에서 조건부 기대값의 비편향 추정자를 구성하기 위해 커플링 기법을 사용한다. 예를 들어 $\mathbb{E}_{\pi_2}[f_1]/\mathbb{E}_{\pi_1}[f_2]$ 와 같은 경우.
• 다양한 수준에서 편향이 감소하는 추정자를 조합함으로써 기대값 기능의 추정자에서 분산을 줄이기 위해 MLMC 프레임워크를 적용한다.
• 이중 단계 절차를 구현한다: 먼저 사후분포에서 $\theta_1$ 를 샘플링하고, 그 후 JOA(베르누이 희소화) 추정기를 사용하여 $\mathbb{E}_{\theta_2|\theta_1}[\lambda_d]$ 의 비편향 추정치를 생성한 후, 최대값을 추정하기 위해 비편향 MLMC를 적용한다.
• 베르누이 희소화 과정에서 커플링 확률을 제어하기 위해 $p \in (0,1)$ 를 사용하며, 이는 분산과 계산 비용 사이의 균형을 맞춘다.
• 순차적 의존성을 피함으로써 추정자가 완전히 병렬화 가능하게 하여, 통신 없이도 프로세서 간에 독립적으로 계산이 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 기본 분포가 비가역한 상황에서, 예를 들어 기대값의 비율이나 조건부 기대값의 최대값과 같은 일반적인 기대값 기능에 대해 비편향 추정자를 구성할 수 있는가?
• RQ2 비편향 MCMC와 MLMC 프레임워크를 어떻게 통합하여 비가역 분포가 존재하는 상황에서 최적의 계산 복잡도와 유한한 분산을 달성할 수 있는가?
• RQ3 고차원 또는 천천히 혼합되는 마르코프 체인에서 제안된 방법의 계산 효율성은 어떠한가? 그리고 파라미터 $p$ 는 어떻게 최적화할 수 있는가?
• RQ4 기대값의 기능 외에도 측도 $\pi$ 에 직접적으로 의존하는 기능(예: 분위수 또는 MAP 추정자 포함)을 다룰 수 있도록 프레임워크를 확장할 수 있는가?
• RQ5 베이지안 계층 모델에서 컷 분포를 포함한 중첩 기대값을 포함한 실제 문제에서 제안된 방법은 실제로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 약간의 조건 하에 $\varepsilon$-정확도를 $O(1/\varepsilon^2)$ 의 계산 복잡도로 달성하며, 몽테카를로 방법의 최적 속도를 충족한다.
• 추정자는 분산이 유한하고 완전히 병렬화 가능하여, 통신 없이도 다수의 프로세서에서 비편향 추정이 가능하다.
• 수치 실험 결과 이론적 발견을 확인하였으며, $10^5$ 개의 독립 실행을 통해 13개국의 HPV-암 모델에서 조건부 기대값의 최대값을 정확하게 추정하였다.
• 메서드는 $U = \mathbb{E}_{\theta_1}[\max_d \mathbb{E}_{\theta_2|\theta_1}[\lambda_d]]$ 를 성공적으로 추정하였으며, 결과는 12번째 국가에서 $\lambda_d \approx 21$ 으로 가장 높은 값을 가짐을 시사한다.
• 프레임워크는 정규화 상수의 비율과 중첩 기대값과 같은 복잡한 기능을 다룰 수 있으며, 표준 기대값을 넘어서는 확장성을 가진다.
• 실증 결과는 파라미터 $p$ 가 분산과 계산 비용에 상당한 영향을 미치며, 실무에서 최적의 튜닝이 필요함을 시사한다.