[논문 리뷰] On the Pitfalls of Nested Monte Carlo

Tom Rainforth, Robert Cornish외 2명|arXiv (Cornell University)|2016. 12. 03.

Markov Chains and Monte Carlo Methods참고 문헌 17인용 수 6

한 줄 요약

이 논문은 비가역 내부 기대값을 포함하는 기대값을 추정하기 위한 네스티드 몬테카를로(NMC) 방법을 분석하며, 일반적인 NMC 기법이 본질적으로 편향되어 있고 수렴 속도가 떨어진다는 것을 증명한다. 수렴 조건을 설정하고 이론적 수렴 속도를 유도하며, 이를 합성 모델을 통해 실증적으로 검증한다. 이는 확률적 프로그래밍 및 실험 설계에서 추론과 모델을 난잡하게 조합하는 것에 대한 경고를 담고 있다.

ABSTRACT

There is an increasing interest in estimating expectations outside of the classical inference framework, such as for models expressed as probabilistic programs. Many of these contexts call for some form of nested inference to be applied. In this paper, we analyse the behaviour of nested Monte Carlo (NMC) schemes, for which classical convergence proofs are insufficient. We give conditions under which NMC will converge, establish a rate of convergence, and provide empirical data that suggests that this rate is observable in practice. Finally, we prove that general-purpose nested inference schemes are inherently biased. Our results serve to warn of the dangers associated with naive composition of inference and models.

연구 동기 및 목표

• 내부 기대값이 비가역인 경우에 외부 기대값에 의존하는 네스티드 몬테카를로(NMC) 기법의 이론적 행동을 조사하는 것.
• NMC 추정기의 수렴 조건을 규명하고 그 수렴 속도를 정량화하는 것.
• 일반적인 NMC 추론이 내부 및 외부 추정기 각각이 비편향일지라도 본질적으로 편향되어 있음을 보여주는 것.
• 정확한 기준값이 알려진 합성 모델을 통해 이론적 수렴 속도를 실증적으로 검증하는 것.
• 특히 마진 분포의 비선형 함수에 대해, 확률적 프로그래밍 시스템에서 추론과 모델을 난잡하게 조합하는 것에 대한 경고를 하는 것.

제안 방법

• 외부 기대값이 비가역 내부 기대값에 의존하는 네스티드 기대값 문제를 $ I = \mathbb{E}_{y \sim p(y)}[f(y, \gamma(y))] $ 로 수식화하며, $ \gamma(y) = \mathbb{E}_{z \sim p(z|y)}[\phi(y,z)] $ 이고, 두 기대값 모두 몬테카를로 샘플링을 통해 근사한다.
• 이중 수준 몬테카를로 추정기 $ I_{N,M} = \frac{1}{N}\sum_{n=1}^N f(y_n, \hat{\gamma}_{M,n}) $ 를 제안하며, $ y_n \sim p(y) $, $ z_{n,m} \sim p(z|y_n) $, $ \hat{\gamma}_{M,n} = \frac{1}{M}\sum_{m=1}^M \phi(y_n, z_{n,m}) $ 이다.
• 함수 $ f $ 에 대한 약한 정칙 조건 하에서 수렴을 확립하며, $ \mathbb{E}[I_{N,M}] \to I $ 가 $ N, M \to \infty $ 일 때 성립함을 보이며, 수렴 속도는 $ O(1/\sqrt{N}) + O(1/\sqrt{M}) $ 이다.
• 일반적인 NMC 기법이 편향되어 있음을 보이기 위해, 문제를 단일 기대값으로 재구성할 수 없는 한계가 있을 경우 비선형 내부 기대값의 기대값에 대한 비편향 추정기는 존재하지 않음을 증명한다.
• 베이지안 실험 설계에서의 정보 수익 기대값을 기반으로 한 반례를 제시하여, 마진 분포의 비선형 기능에 대한 비편향 추정이 불가능함을 설명한다.
• 정확한 해가 알려진 합성 모델을 사용하여 이론적 수렴 속도를 실증적으로 검증하며, $ y \sim \text{Uniform}(-1,1) $, $ z \sim \mathcal{N}(0,1) $, $ \phi(y,z) = \sqrt{2/\pi} \exp(-2(y-z)^2) $, $ f(y, \gamma(y)) = \log(\gamma(y)) $ 를 사용하여 관측된 속도가 $ O(1/\sqrt{T}) $ 와 일치함을 보였다.

실험 결과

연구 질문

• RQ1 네스티드 몬테카를로 추정기는 어떤 조건에서 진짜 기대값으로 수렴하는가?
• RQ2 네스티드 몬테카를로 추정기의 이론적 수렴 속도는 무엇이며, 실증 관측과 일치하는가?
• RQ3 왜 일반적인 네스티드 추론은 내부 및 외부 추정기가 각각 비편향이어도 본질적으로 편향되어 있는가?
• RQ4 표준 NMC를 사용하여 마진 분포의 비선형 기능(예: 사후 분포의 엔트로피)을 비편향으로 추정할 수 있는가?
• RQ5 실제 응용 분야인 베이지안 실험 설계와 같은 분야에서 실무적 NMC 구현이 느린 수렴과 편향을 얼마나 심각하게 겪는가?

주요 결과

• 외부 함수 $ f $ 에 대한 약한 정칙 조건 하에서 네스티드 몬테카를로 추정기는 진짜 기대값으로 수렴하지만, 내부 추정기의 샘플 크기 $ M $ 이 $ N $ 과 함께 증가해야만 수렴이 보장된다.
• NMC의 수렴 속도는 $ O(1/\sqrt{N}) + O(1/\sqrt{M}) $ 로 제한되며, 표준 몬테카를로의 $ O(1/\sqrt{N}) $ 수렴 속도보다 현저히 느리다.
• 일반적인 NMC 추론 기법은 내부 기대값의 비선형 기능, 예를 들어 $ \mathbb{E}[\log(\mathbb{E}[\phi(y,z)|y])] $ 와 같이, 내부 및 외부 추정기가 각각 비편향이어도 본질적으로 편향되어 있다.
• 정확한 해가 알려진 합성 모델에서의 실증 결과는 이론적 수렴 속도 $ O(1/\sqrt{T}) $ 가 실생활에서도 관측 가능하다는 것을 확인하며, 이론적 경계가 검증됨을 보여준다.
• 편향은 본질적으로 함수 $ f $ 의 비선형성에서 기인하며, 외부 및 내부 수준에서 독립적인 샘플링을 해도 제거될 수 없다. 이는 두 추정기가 비편향이어도 마찬가지다.
• 보조 변수를 도입함으로써 문제를 단일 기대값으로 재구성하는 것은 특수한 경우(예: 선형 $ f $)에서만 가능하며, 일반적인 비선형 기능(엔트로피, 정보 수익 등)에는 실패한다.