[論文レビュー] Does waste-recycling really improve Metropolis-Hastings Monte Carlo algorithm?

Jean‐François Delmas, Benjamin Jourdain|arXiv (Cornell University)|Nov 30, 2006

Markov Chains and Monte Carlo Methods参考文献 12被引用数 3

ひとこと要約

この論文は、メトロポリス＝ハスティングス法における漸近的分散の低減を目的とした、廃棄物再利用（WR）モンテカルロ法を厳密に分析し、制御変数手法としての枠組みを提示する。一般に信じられている直感とは対照的に、WRが常に性能を向上させるとは限らないことが示されつつも、ボルツマンアルゴリズムの設定では漸近的に優越しており、経験的提案分布を用いた最適パラメータ推定が可能である。

ABSTRACT

The Metropolis Hastings algorithm and its multi-proposal extensions are aimed at the computation of the expectation $$ of a function $f$ under a probability measure $π$ difficult to simulate. They consist in constructing by an appropriate acceptation/rejection procedure a Markov chain $(X_k,k\geq 0)$ with transition matrix $P$ such that $π$ is reversible with respect to $P$ and in estimating $$ by the empirical mean $I_n(f)=\inv{n}\sum_{k=1}^n f(X_k)$. The waste-recycling Monte Carlo (WR) algorithm introduced by physicists is a modification of the Metropolis-Hastings algorithm, which makes use of all the proposals in the empirical mean, whereas the standard Metropolis-Hastings algorithm only uses the accepted proposals. In this paper, we extend the WR algorithm into a general control variate technique and exhibit the optimal choice of the control variate in terms of asymptotic variance. We also give an example which shows that in contradiction to the intuition of physicists, the WR algorithm can have an asymptotic variance larger than the one of the Metropolis-Hastings algorithm. However, in the particular case of the Metropolis-Hastings algorithm called Boltzmann algorithm, we prove that the WR algorithm is asymptotically better than the Metropolis-Hastings algorithm.

研究の動機と目的

• 廃棄物再利用（WR）モンテカルロ法が、多提案型メトロポリス＝ハスティングス法において、漸近的分散を本当に低減するかを厳密に評価すること。
• WRを一般の制御変数手法として形式化し、漸近的分散を最小化する最適な制御変数関数を同定すること。
• 物理学の文脈で長年信じられてきた仮定（WRは常に効率を向上させる）を覆す反例を提示し、分散が増加する場合があることを解明すること。
• 特にボルツマンアルゴリズムの枠組みにおいて、WRが標準的メトロポリス＝ハスティングス法よりも漸近的に優れている条件を確立すること。
• 多提案設定における経験的提案分布を用いた、最適WRパラメータのパラメトリック推定手法を提案すること。

提案手法

• WR推定量を $ I_n(f) + J_n(\beta) $ として再定式化し、$ J_n(\beta) $ は受理・失敗を含むすべての提案を利用する。制御変数問題として扱う。
• マルコフ連鎖の中心極限定理を用いてWR推定量の漸近的分散を導出し、制御変数 $ \psi $ の選択に依存することを示す。
• 漸近的分散を最小化する最適な制御変数 $ F $ を、ポisson方程式 $ F - P F = f - \langle \pi, f \rangle $ の解として同定する。
• 多提案ケースにおけるWRの線形パラメトリック一般化 $ J_n(b f) $ を提案し、マルコフ連鎖の経路に基づいて最適な $ b_* $ の推定器を導出する。
• エルゴディック定理とマルティングルールの技法を用いて、弱い条件下でもWR推定量のほとんど確実収束および漸近正規性を証明する。
• 単一提案ケースにおいて、WRが標準的メトロポリス＝ハスティングス法よりも漸近的分散が大きい反例を構築する。

実験結果

リサーチクエスチョン

• RQ1 物理学の文脈で一般的に信じられているように、廃棄物再利用は常にメトロポリス＝ハスティングス推定量の漸近的分散を低減するのだろうか？
• RQ2 WRアルゴリズムは正式に制御変数手法として定式化可能であり、漸近的分散を最小化する最適な制御変数関数は何か？
• RQ3 特にボルツマンアルゴリズムのような特定の状況において、WRは標準的メトロポリス＝ハスティングス法よりも漸近的効率で優れているのか？
• RQ4 マルコフ連鎖の経路のみを用いて、WR推定量のパラメトリック族における最適パラメータを推定することは可能か？
• RQ5 一般の制御変数を用いた場合に、WR推定量の一貫性および漸近正規性を保証する条件は何か？

主な発見

• WRアルゴリズムは一貫して性能を向上させるわけではない：単一提案ケースにおける反例により、標準的メトロポリス＝ハスティングス法よりも漸近的分散が大きくなる場合があることが示された。
• WRフレームワークにおける最適制御変数は、漸近的分散を最小化する解 $ F $ として、ポisson方程式 $ F - P F = f - \langle \pi, f \rangle $ の解として与えられる。
• ボルツマンアルゴリズムの設定では、WRアルゴリズムは標準的メトロポリス＝ハスティングス法よりも漸近的に優れており、漸近的分散が明確に小さいことが保証されている。
• 多提案型WRアルゴリズムにおいて、パラメトリック族 $ J_n(b f) $ の最適パラメータ $ b_* $ は、マルコフ連鎖の経路から一貫して推定可能である。
• WR推定量の漸近的分散は、$ \tilde{\sigma}(f,\beta)^2 = \sigma(f,\beta)^2 + \int \pi(dx) \left[ \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa\beta_x - \kappa F_x) - \text{Var}_{{\mathcal{Q}}(x,\cdot)}(\kappa F_x) \right] $ で与えられ、$ \beta $ の選択に依存することが示された。
• 選択カーネルを変更した $ \kappa' $ を用いる $ \mathcal{J}_n^\prime(\psi) $ を用いた推定量 $ I_n(f) + \mathcal{J}_n^\prime(\psi) $ は、ハリス再帰性および可積分性の条件下で一貫性を示す。$ \kappa' \neq \kappa $ であっても成立する。