[論文レビュー] On the utility of Metropolis-Hastings with asymmetric acceptance ratio

Christophe Andrieu, Randal Douc+2 more|arXiv (Cornell University)|Mar 26, 2018

Markov Chains and Monte Carlo Methods参考文献 9被引用数 12

ひとこと要約

本稿では、詳細つり合いと漸近的正しさを保ちながら、MCMCにおける受容率の平均化された不偏推定量の使用を可能にする、新しいメトロポリス・ハスティングスアルゴリズム、MHAAR（Averaged Acceptance Ratioを用いたメトロポリス・ハスティングス）を提案する。対称的補助変数スキームを導入することで、分散を低減し収束を加速する。特に並列計算環境において顕著な利点を示す。二重に不確実なモデル、潜在変数モデル、および状態空間モデルにおいて実証された。

ABSTRACT

The Metropolis-Hastings algorithm allows one to sample asymptotically from any probability distribution $π$. There has been recently much work devoted to the development of variants of the MH update which can handle scenarios where such an evaluation is impossible, and yet are guaranteed to sample from $π$ asymptotically. The most popular approach to have emerged is arguably the pseudo-marginal MH algorithm which substitutes an unbiased estimate of an unnormalised version of $π$ for $π$. Alternative pseudo-marginal algorithms relying instead on unbiased estimates of the MH acceptance ratio have also been proposed. These algorithms can have better properties than standard PM algorithms. Convergence properties of both classes of algorithms are known to depend on the variability of the estimators involved and reduced variability is guaranteed to decrease the asymptotic variance of ergodic averages and will shorten the burn-in period, or convergence to equilibrium, in most scenarios of interest. A simple approach to reduce variability, amenable to parallel computations, consists of averaging independent estimators. However, while averaging estimators of $π$ in a pseudo-marginal algorithm retains the guarantee of sampling from $π$ asymptotically, naive averaging of acceptance ratio estimates breaks detailed balance, leading to incorrect results. We propose an original methodology which allows for a correct implementation of this idea. We establish theoretical properties which parallel those available for standard PM algorithms and discussed above. We demonstrate the interest of the approach on various inference problems. In particular we show that convergence to equilibrium can be significantly shortened, therefore offering the possibility to reduce a user's waiting time in a generic fashion when a parallel computing architecture is available.

研究の動機と目的

• 不確実な尤度関数や正規化されていない目標分布を伴う状況におけるMCMCの分散低減の課題に取り組む。
• 疑似マージナルMCMCにおいて受容率推定量を単純に平均化すると詳細つり合いが崩れる問題を克服する。
• 不変分布πを保ちながら、平均化された不偏推定量を用いた受容率推定量の一般枠組みを構築する。
• 推定量のばらつきを平均化することで、MCMCにおける効率的な並列計算を可能にする。
• 二重に不確実な分布、潜在変数モデル、および状態空間モデルを含む複雑なモデルへこの手法を拡張する。

提案手法

• 対称的補助変数機構を用いて受容率の平均化推定量を利用するメトロポリス・ハスティングスアルゴリズム、MHAARを提案する。
• 2段階の提案メカニズムを導入し、それぞれが異なる2つの提案核Q₁およびQ₂に結びついている。各核は平均化された受容率推定量に関連づけられる。
• 補助変数を対称的に扱うことで構築された結合遷移核により、詳細つり合いを保証し、πを不変分布として維持する。
• 不偏推定量（例：AISやSMCを用いて）を用い、N個の独立標本を平均化することで分散を低減する。
• 単一変数モデルおよび潜在変数モデルにこの手法を適用し、さらに次元が変化するモデルや状態空間モデルへの拡張を実施する。
• 高次元または複雑なモデルにおいて、AISの代わりにSMCやcSMCを受容率推定量として用いることが可能であり、効率性が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 疑似マージナルMCMCにおいて、受容率推定量の複数の独立推定値を平均化しても、詳細つり合いと漸近的正しさを保てるか？
• RQ2 MCMCの収束保証と整合的に、受容率推定量の分散を低減する方法は何か？
• RQ3 平均化された受容率推定量の使用が、MCMCにおける混合時間および平衡分布への収束に与える影響は何か？
• RQ4 提案手法を、不確実な尤度関数、潜在変数、または次元が変化するターゲットを持つモデルへ拡張可能か？
• RQ5 実際の応用において、標準的な疑似マージナル法やAISベースのアルゴリズムと比較して、MHAARの効率性はどの程度か？

主な発見

• MHAARは、受容率推定量の平均化を用いても詳細つり合いを保ち、漸近的正しさを保証する。
• 定常分布の推定平均の漸近的分散が顕著に低減され、平衡分布への収束が速くなる。
• 実験的結果から、平衡分布への収束が短縮され、並列計算環境におけるユーザーの待機時間が削減される。
• 二重に不確実なモデル、潜在変数モデル、および状態空間モデルへも適用可能であり、混合性能の向上が実証された。
• AISの代わりにSMCやcSMCを受容率推定量として用いることは可能であり、アルゴリズムの有効性を維持する。
• 2つの非対称な提案メカニズムを組み合わせることで、非可逆MCMCを実現可能とし、より効率的な探索への道筋を拓く。