[論文レビュー] Unbiased Multilevel Monte Carlo methods for intractable distributions: MLMC meets MCMC

Guanyang Wang, Tianze Wang|arXiv (Cornell University)|Apr 11, 2022

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、不確実な分布における期待値関数およびネストされた期待値を推定するために、不偏MCMCとMLMCを組み合わせた新しい不偏マルチレベルモンテカルロ（MLMC）フレームワークを提案する。並列計算が可能で、計算複雑度が最適な$O(1/\varepsilon^2)$、かつ有限の分散を達成し、$
\varepsilon$-精度を効率的に達成する。

ABSTRACT

Constructing unbiased estimators from Markov chain Monte Carlo (MCMC) outputs is a difficult problem that has recently received a lot of attention in the statistics and machine learning communities. However, the current unbiased MCMC framework only works when the quantity of interest is an expectation, which excludes many practical applications. In this paper, we propose a general method for constructing unbiased estimators for functions of expectations and extend it to construct unbiased estimators for nested expectations. Our approach combines and generalizes the unbiased MCMC and Multilevel Monte Carlo (MLMC) methods. In contrast to traditional sequential methods, our estimator can be implemented on parallel processors. We show that our estimator has a finite variance and computational complexity and can achieve $\varepsilon$-accuracy within the optimal $O(1/\varepsilon^2)$ computational cost under mild conditions. Our numerical experiments confirm our theoretical findings and demonstrate the benefits of unbiased estimators in the massively parallel regime.

研究の動機と目的

• 目標分布が不確実であり、MCMCの出力のみが利用可能である状況において、一般の関数的期待値の不偏推定量を構築する課題に対処すること。
• 既存の不偏MCMC手法を単純な期待値を超えて、比、分位数、ネストされた期待値などの複雑な関数的期待値を扱えるように拡張すること。
• MCMC出力からのバイアスを排除することで、プロセッサ間の通信を必要とせず、大規模並列計算を可能にすること。
• やや弱い条件下でも、$
  \varepsilon$-精度を達成するための計算複雑度$O(1/\varepsilon^2)$を最適化し、有限の分散を達成すること。
• ネストされた期待値や期待値の非線形関数的期待値（定義域制限付きを含む）を扱えるように、フレームワークを一般化すること。

提案手法

• 不確実な分布における$g(\mathbb{E}_\pi[f])$の不偏推定量を構築するために、不確実MCMC（例：ベルヌーイスプライシング法によるカップリングMCMC）とMLMCを統合する。
• カップリング技術を用いて、ネストされた設定（例：$\mathbb{E}_{\pi_2}[f_1]/\mathbb{E}_{\pi_1}[f_2]$）における条件付き期待値の不偏推定量を構築する。
• 複数のレベルにおける推定量を組み合わせることで、バイアスを減少させることで、期待値関数の推定量の分散を低減するMLMCフレームワークを適用する。
• 2段階の手順を実装する：まず事後分布から$\theta_1$をサンプリングし、次にJOA（ベルヌーイスプライシング）推定量を用いて$\mathbb{E}_{\theta_2|\theta_1}[\lambda_d]$の不偏推定量を生成し、その後不偏MLMCを用いて$d$に関する最大値を推定する。
• ベルヌーイスプライシングプロセスにおけるカップリング確率を制御するパrameter $p \in (0,1)$ を用い、分散と計算コストのバランスを取る。
• 順序依存性を回避することで、推定量を完全に並列化可能にし、通信を一切不要としたプロセッサ間の独立計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 元の分布が不確実な状況において、期待値の比や条件付き期待値の最大値といった一般の関数的期待値に対して、不偏推定量を構築できるか？
• RQ2 不確実な分布の下で、不確実MCMCとMLMCフレームワークをどのように組み合わせ、最適な計算複雑度と有限の分散を達成できるか？
• RQ3 高次元またはゆっくり混合するマルコフ連鎖において、提案手法の計算効率はどの程度か。また、パrameter $p$ はどのように最適化できるか？
• RQ4 期待値の関数的期待値に加えて、測度$\pi$そのものに依存する関数的期待値（例：分位数、MAP推定量）を扱えるように、フレームワークを拡張できるか？
• RQ5 ベイジアンハイアラルキカルモデルにおけるカット分布を含む、ネストされた期待値を含む実世界の問題において、提案手法は実際の性能をどのように発揮するか？

主な発見

• 提案手法は、やや弱い条件下でも、計算複雑度$O(1/\varepsilon^2)$で$
  \varepsilon$-精度を達成し、モンテカルロ法の最適レートを満たす。
• 推定量は有限の分散を有し、完全に並列化可能であり、通信を一切不要とした複数プロセッサ間での不偏推定が可能である。
• 数値実験により理論的予想が確認され、13カ国のHPVがんモデルにおいて$10^5$回の独立ランで条件付き期待値の最大値が正確に推定された。
• $U = \mathbb{E}_{\theta_1}[\max_d \mathbb{E}_{\theta_2|\theta_1}[\lambda_d]]$の推定に成功し、結果から12番目の国が最も高い$\lambda_d \approx 21$を示している。
• 正規化定数の比やネストされた期待値といった複雑な関数的期待値を扱えるように、標準的な期待値を超えた拡張が可能である。
• 実験的結果から、パrameter $p$ が分散と計算コストに顕著に影響することが示され、実務では最適チューニングの必要性が示唆される。