[論文レビュー] On the Pitfalls of Nested Monte Carlo

Tom Rainforth, Robert Cornish+2 more|arXiv (Cornell University)|Dec 3, 2016

Markov Chains and Monte Carlo Methods参考文献 17被引用数 6

ひとこと要約

この論文は、非自明な内側の期待値を含む期待値を推定するためのネストドモンテカルロ（NMC）手法を分析し、一般化されたNMCスキームが本質的にバイアスを有し、収束速度が低下することを証明している。収束のための条件を確立し、理論的収束速度を導出し、それらを合成モデルを用いた実験的に検証。確率的プログラミングや実験設計における推論とモデルの単純な合成に対する警告を発している。

ABSTRACT

There is an increasing interest in estimating expectations outside of the classical inference framework, such as for models expressed as probabilistic programs. Many of these contexts call for some form of nested inference to be applied. In this paper, we analyse the behaviour of nested Monte Carlo (NMC) schemes, for which classical convergence proofs are insufficient. We give conditions under which NMC will converge, establish a rate of convergence, and provide empirical data that suggests that this rate is observable in practice. Finally, we prove that general-purpose nested inference schemes are inherently biased. Our results serve to warn of the dangers associated with naive composition of inference and models.

研究の動機と目的

• 外側の期待値が非自明な内側の期待値に依存するネストドモンテカルロ（NMC）スキームの理論的挙動を調査すること。
• NMC推定子が収束する条件を特定し、その収束速度を定量化すること。
• 一般化されたNMC推論が、内側および外側の推定子が個別に無偏であっても、本質的にバイアスを有することを示すこと。
• 真の値が既知の合成モデルを用いて理論的収束速度を実証的に検証すること。
• 非線形関数の周辺期待値に関する、確率的プログラミングシステムにおける推論とモデルの単純な合成に対する警告を発すること、特にベイジアン実験設計において。

提案手法

• 外側の期待値が非自明な内側の期待値に依存する問題を $ I = \mathbb{E}_{y \sim p(y)}[f(y, \gamma(y))] $ として定式化し、ここで $ \gamma(y) = \mathbb{E}_{z \sim p(z|y)}[\phi(y,z)] $ である。両方の期待値をモンテカルロサンプリングにより近似する。
• 二段階のモンテカルロ推定子 $ I_{N,M} = \frac{1}{N}\sum_{n=1}^N f(y_n, \hat{\gamma}_{M,n}) $ を提案する。ここで $ y_n \sim p(y) $、$ z_{n,m} \sim p(z|y_n) $、$ \hat{\gamma}_{M,n} = \frac{1}{M}\sum_{m=1}^M \phi(y_n, z_{n,m}) $ である。
• 外側関数 $ f $ に対してやや弱い正則性条件が満たされれば収束が保証され、$ \mathbb{E}[I_{N,M}] \to I $ が $ N, M \to \infty $ のとき成り立つことを示し、収束速度が $ O(1/\sqrt{N}) + O(1/\sqrt{M}) $ であることを示す。
• 任意の一般化されたNMCスキームがバイアスを有することを証明し、問題が単一の期待値に再定式化できない限り、内側期待値の非線形関数に対する無偏推定子は存在しないことを示す。
• ベイジアン実験設計における情報量の期待値を例に、内側期待値の非線形関数に対する無偏推定が不可能であることを示す反例を提示する。
• 真の値が既知の合成モデルを用いて理論的収束速度を実証的に検証する。モデルは $ y \sim \text{Uniform}(-1,1) $、$ z \sim \mathcal{N}(0,1) $、$ \phi(y,z) = \sqrt{2/\pi} \exp(-2(y-z)^2) $、$ f(y, \gamma(y)) = \log(\gamma(y)) $ である。観測された収束速度が $ O(1/\sqrt{T}) $ と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 ネストドモンテカルロ推定子が真の期待値に収束する条件は何か？
• RQ2 ネストドモンテカルロ推定子の理論的収束速度は何か？ また、実証的観察と一致するか？
• RQ3 なぜ一般化されたネストド推論は、内側および外側の推定子が無偏であっても本質的にバイアスを有するのか？
• RQ4 標準的なNMCを用いて、周辺分布の非線形関数（例：事後分布のエントロピー）をバイアスなしに推定できるか？
• RQ5 実世界の応用、特にベイジアン実験設計において、実装上のNMCが遅い収束とバイアスをどのように受けるか？

主な発見

• 外側関数 $ f $ に対してやや弱い正則性条件が満たされれば、ネストドモンテカルロ推定子は真の期待値に収束するが、収束は内側推定子のサンプルサイズ $ M $ が $ N $ と共に増加する場合にのみ保証される。
• NMCの収束速度は $ O(1/\sqrt{N}) + O(1/\sqrt{M}) $ で抑えられ、これは標準モンテカルロの $ O(1/\sqrt{N}) $ より顕著に遅い。
• 一般化されたネストド推論スキームは、内側期待値の非線形関数（例：$ \mathbb{E}[\log(\mathbb{E}[\phi(y,z)|y])] $）に対して本質的にバイアスを有するが、内側および外側の推定子が個別に無偏であっても同様である。
• 真の値が既知の合成モデルを用いた実証的結果により、理論的収束速度 $ O(1/\sqrt{T}) $ が実際に観測可能であり、理論的境界が妥当であることが確認された。
• バイアスは本質的に関数 $ f $ の非線形性に起因し、外側および内側の段階で独立サンプリングを行っても、両推定子が無偏であっても除去できない。
• 補助変数を用いた単一の期待値に再定式化することは、特殊な場合（例：線形 $ f $）でのみ可能であり、一般の非線形関数（例：エントロピー、情報量の増加）には失敗する。