[論文レビュー] Global consensus Monte Carlo

Lewis J. Rendell, Adam M. Johansen+2 more|arXiv (Cornell University)|Jul 24, 2018

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、補助パラメータを用いた道具的階層モデルを用いて、グローバルコンセンサスモンテカルロサンプリングを可能にする分散ベイジアン推論フレームワークを提案する。補助パラメータ間の関連強度を制御する上位レベルのパラメータを導入することにより、拡張された状態空間上で効率的なMCMCおよびSMCアルゴリズムを実現でき、強い分布仮定を必要とせずに計算効率と事後分布の忠実度のトレードオフを実現できる。

ABSTRACT

To conduct Bayesian inference with large data sets, it is often convenient or necessary to distribute the data across multiple machines. We consider a likelihood function expressed as a product of terms, each associated with a subset of the data. Inspired by global variable consensus optimisation, we introduce an instrumental hierarchical model associating auxiliary statistical parameters with each term, which are conditionally independent given the top-level parameters. One of these top-level parameters controls the unconditional strength of association between the auxiliary parameters. This model leads to a distributed MCMC algorithm on an extended state space yielding approximations of posterior expectations. A trade-off between computational tractability and fidelity to the original model can be controlled by changing the association strength in the instrumental model. We further propose the use of a SMC sampler with a sequence of association strengths, allowing both the automatic determination of appropriate strengths and for a bias correction technique to be applied. In contrast to similar distributed Monte Carlo algorithms, this approach requires few distributional assumptions. The performance of the algorithms is illustrated with a number of simulated examples.

研究の動機と目的

• 単一マシンのメモリや計算能力を超える大規模データセットにおけるベイジアン推論の課題に対処すること。
• 尤度に関する強い仮定に依存する「ありきたりな並列MCMC手法」の限界を克服し、後処理による集約に依存しないこと。
• 最終的な集約ステップを回避しながら、真の事後分布への忠実度を維持する分散MCMCおよびSMCフレームワークの開発。
• 従来のコンセンサス手法が失敗する高次元または非ガウス尤度設定でも、効率的なサンプリングを可能にすること。
• 手動でのチューニングを必要とせず、最適な正則化強度を自動的に決定するバイアス補正付きで適応的なSMC手順の提供。

提案手法

• 各データブロックごとに補助パラメータを有する道具的階層モデルを導入し、主パラメータZを条件付き独立に保つ。
• 補助パラメータ間の周辺的関連強度を制御する上位レベルのパラメータを追加し、計算の tractability（扱いやすさ）とモデルの忠実度のバランスを取る。
• Zと補助パラメータの同時事後分布を標的とする拡張状態空間上のMCMCアルゴリズムを構築する。
• 推定値の改善とバイアス補正を可能にするために、関連強度の系列を用いた順次モンテカルロ（SMC）サンプラーを実装する。
• SMCフレームワーク内で重み付き最小二乗法を用いてバイアス補正を行い、単一の正則化パラメータに依存するのを低減する。
• 動的選択により関連強度の値を段階的に決定する適応的手順（Zhou et al., 2016）を適用し、収束性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最終的な独立チェーンの集約に依存せずに、分散環境におけるベイジアン推論をどのように効率的に行えるか？
• RQ2 関連強度パラメータが計算効率と事後分布近似の正確性のトレードオフに与える影響は何か？
• RQ3 適応的正則化を用いた順次モンテカルロアプローチは、固定パラメータ法と比較して推定の正確性を向上させ、バイアスを低減できるか？
• RQ4 本手法は、従来のコンセンサスモンテカルロやありきたりな並列MCMCと比較して、どのような状況で優れているか？
• RQ5 正則化パラメータの手動チューニングを必要とせず、どのようにして事後分布近似のバイアスを自動で補正できるか？

主な発見

• 適応的停止ルールを備えたSMC推定器は、初期パーティクル集合（0.0692）と比較して平均二乗誤差が47%削減され（0.0367）、効果を示した。
• 100イテレーション後、SMCアプローチは推定誤差を40%低減（0.0692 → 0.0418）し、単一パラメータ法よりも正確性が向上した。
• バイアス補正手順は初期推定器を著しく上回り、特に適応的停止ルールと組み合わせた場合に顕著であった。
• 尤度寄与要因に強い分布仮定を必要としないため、非ガウス的または高次元のモデルに適している。
• 尤度が非ガウス的または高次元で情報が乏しい状況でも、コンセンサスモンテカルロがバイアスが高いため失敗するが、本手法はそのような状況でも有効である。
• 本手法は分散環境に限らず適用可能であり、変数分割（例：Vono et al., 2019a）を介した逐次的実装とも互換性があることが示された。