[論文レビュー] Metropolis-Hastings with Averaged Acceptance Ratios

Christophe Andrieu, Sinan Yıldırım+2 more|arXiv (Cornell University)|Dec 29, 2020

Markov Chains and Monte Carlo Methods参考文献 29被引用数 4

ひとこと要約

本稿では、複数の独立したプロポーザルにおける受容率の平均化により、平衡分布への収束を向上させるとともに、エルゴディック平均の分散を低減する、新しいMCMCフレームワークである平均化受容率を用いたメトロポリス・ハスティングス法（MHAAR）を提案する。この手法は、ターゲット分布を不変分布として保持し、並列処理が効率的に行える。さまざまなモデル、特に状態空間モデル、次元数が変化するサンプリング、二重に不確実な尤度を持つモデルにおいて、バーンイン期間の短縮や性能向上が顕著に得られている。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods to sample from a probability distribution $π$ defined on a space $(Θ,\mathcal{T})$ consist of the simulation of realisations of Markov chains $\{θ_{n},n\geq1\}$ of invariant distribution $π$ and such that the distribution of $θ_{i}$ converges to $π$ as $i ightarrow\infty$. In practice one is typically interested in the computation of expectations of functions, say $f$, with respect to $π$ and it is also required that averages $M^{-1}\sum_{n=1}^{M}f(θ_{n})$ converge to the expectation of interest. The iterative nature of MCMC makes it difficult to develop generic methods to take advantage of parallel computing environments when interested in reducing time to convergence. While numerous approaches have been proposed to reduce the variance of ergodic averages, including averaging over independent realisations of $\{θ_{n},n\geq1\}$ simulated on several computers, techniques to reduce the "burn-in" of MCMC are scarce. In this paper we explore a simple and generic approach to improve convergence to equilibrium of existing algorithms which rely on the Metropolis-Hastings (MH) update, the main building block of MCMC. The main idea is to use averages of the acceptance ratio w.r.t. multiple realisations of random variables involved, while preserving $π$ as invariant distribution. The methodology requires limited change to existing code, is naturally suited to parallel computing and is shown on our examples to provide substantial performance improvements both in terms of convergence to equilibrium and variance of ergodic averages. In some scenarios gains are observed even on a serial machine.

研究の動機と目的

• 尤度が不確実な複雑なモデルにおいて、一般的で効果的なMCMCバーンイン期間の短縮法が不足している問題に対処する。
• ターゲット分布の不変分布としての性質を変更せずに、既存のMHベースのアルゴリズムの平衡分布への収束を向上させ、エルゴディック平均の分散を低減する。
• 複数の独立したプロポーザルにおける受容率推定の計算を分離することで、MCMCの効率的並列化を可能にする。
• 状態空間モデル、次元数が変化するモデル、二重に不確実な分布を含む広範なモデルに適用可能な一般化されたフレームワークを提供する。
• 正確な尤度推定にかかる高コストを回避する、疑似尤度法MCMCの計算的に効率的な代替手法を開発する。

提案手法

• 単一の受容率に代えて、複数の独立した受容率推定値の平均を用いる一般化されたMHアルゴリズム（MHAAR）を提案する。
• 同一のプロポーザルカーネルから得られる独立同一分布に従う複数のプロポーザルを用い、複数の受容率を計算した後、それらを平均化して1つの受容確率を形成する。
• 受容率平均化機構を適切に構築することで詳細釣合の条件を満たし、ターゲット分布πを不変分布として保持する。
• 条件付きSMC（cSMC）を用いて受容率を不偏に推定する状態空間モデル向けのMHAAR-RB（拒否ベース）およびMHAAR-S（サブサンプリング）の変種を導入する。
• cSMCにおけるバックワードサンプリングを活用し、複数の潜在パス推定値を生成し、それらを用いて受容率の不偏推定値を計算する。
• サブサンプリングを適用することで、1反復あたりの計算コストをO(M²T)からO(NMT)に低減し、巨大な潜在空間を持つ大規模な状態空間モデルへのスケーラブルな応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の独立した受容率推定値の平均化は、ターゲット分布を変更せずにMHアルゴリズムの平衡分布への収束を改善できるか？
• RQ2 詳細釣合を維持しつつ、受容率の計算を並列化できるようにメトロポリス・ハスティングス法をどのように変更できるか？
• RQ3 MHAARは、状態空間モデルや次元数が変化するサンプリングのような複雑なモデルにおいて、バーンイン期間とエルゴディック平均の分散をどの程度短縮できるか？
• RQ4 MHAARは、計算コストを低減し混合性が向上する点で、疑似尤度法MCMCの効率的代替手段として機能できるか？
• RQ5 大規模な状態空間モデルにおいて、潜在パス推定値のサブサンプリングがMHAARの性能と計算コストに与える影響は何か？

主な発見

• MHAARは、隠れマルコフモデルにおいて標準的なMwPGと比較して、統合自己相関時間（IAC）を最大70％まで短縮し、N=60のときIACが3.5337×10³から1.4047×10³に低下した。
• MHAAR-RB-RのIACは0.4332×10³にまで低下し、MwPGの3.5337×10³と比べて顕著に低く、収束が速く、分散が小さいことを示している。
• シリアルマシン上でもMHAARは標準MCMCを上回る性能を示しており、並列アーキテクチャに限定されない有効性が裏付けられている。
• MHAAR-Sは計算コストをO(M²T)からO(NMT)に低減し、巨大な潜在空間を持つ大規模な状態空間モデルへのスケーラブルな応用を可能にした。
• 図7に示すように、MHAAR-Sのアンサンブル平均はMwPGやMHAAR-RBと比較して、事後平均への収束が速く、混合性の向上とバーンインの短縮が確認された。
• 平均化および不偏な受容率推定値の使用にもかかわらず、メソッドはターゲット分布πに対する正確な不変性を維持しており、妥当性が保証されている。