[論文レビュー] Asymptotically Optimal Exact Minibatch Metropolis-Hastings

Ruqi Zhang, A. Feder Cooper+1 more|arXiv (Cornell University)|Jun 20, 2020

Markov Chains and Monte Carlo Methods参考文献 27被引用数 4

ひとこと要約

本稿では、バッチサイズと収束速度の間で調整可能な、真の事後分布を維持しつつ漸近的に最適な正確なミニバッチメトロポリス・ハスティングス（MH）アルゴリズム、TunaMHを提案する。本稿は、正確なミニバッチMH手法に必要なバッチサイズの下界を初めて確立し、TunaMHが期待バッチサイズを最小化するという点で漸近的に最適であることを示している。

ABSTRACT

Metropolis-Hastings (MH) is a commonly-used MCMC algorithm, but it can be intractable on large datasets due to requiring computations over the whole dataset. In this paper, we study minibatch MH methods, which instead use subsamples to enable scaling. We observe that most existing minibatch MH methods are inexact (i.e. they may change the target distribution), and show that this inexactness can cause arbitrarily large errors in inference. We propose a new exact minibatch MH method, TunaMH, which exposes a tunable trade-off between its batch size and its theoretically guaranteed convergence rate. We prove a lower bound on the batch size that any minibatch MH method must use to retain exactness while guaranteeing fast convergence-the first such bound for minibatch MH-and show TunaMH is asymptotically optimal in terms of the batch size. Empirically, we show TunaMH outperforms other exact minibatch MH methods on robust linear regression, truncated Gaussian mixtures, and logistic regression.

研究の動機と目的

• 既存のミニバッチMH手法における不正確さという深刻な問題に対処し、その結果、推論誤差が任意に大きくなる可能性があることの影響を解消すること。
• 強い仮定に依存せず、効率性を犠牲にせずに真の事後分布を維持する正確なミニバッチMH手法を開発すること。
• 正確なミニバッチMHにおけるバッチサイズと収束速度のトレードオフを形式的に特徴づけること。これは、先行研究が行っていなかったことである。
• 任意の正確なミニバッチMH手法が所定の収束速度を維持するために必要な期待バッチサイズの理論的下界を証明すること。
• TunaMHがバッチサイズと収束速度のバランスにおいて漸近的に最適であることを示すこと。

提案手法

• TunaMHは、ポアソン分布に基づくサンプリング機構を用いてミニバッチを確率的に選択し、正確性を保ちつつ、調整可能なハイパーパrameter χにより期待バッチサイズを制御可能である。
• アルゴリズムは、対数尤度密度の差の不偏推定量を用いて、完全データMH比と正確に一致する受容確率を構築する。
• 局所的なリプシッツ連続性を潜在関数 U_i(θ) に適用することで、サブサンプリング下での受容確率の妥当性を保証する。
• 完全データMHとミニバッチMHの連鎖の間で新たなカップリング機構を導入し、詳細釣合の維持と正確な定常分布の保持を実現する。
• スペクトルギャップに基づく収束速度の保証を導出し、TunaMHの収束速度が標準MHの定数倍以内であることを示している。
• アルゴリズムは、グローバルな境界やベルンシュタイン＝フォン・ミーゼス近似を必要としない、弱い局所的正則性条件のもとで適用可能である。

実験結果

リサーチクエスチョン

• RQ1 不正確なミニバッチMH手法は、任意に不正確になり得るのか？ もしそうならば、実用的推論に与える影響は何か？
• RQ2 正確性と効率的収束性を両立させつつ、スケーラビリティを損なわずに正確なミニバッチMH手法を設計することは可能か？
• RQ3 任意の正確なミニバッチMH手法が所定の収束速度を達成するために必要な理論的最小期待バッチサイズは何か？
• RQ4 ミニバッチMHアルゴリズムがバッチサイズと収束速度のバランスにおいて漸近的に最適に達成可能か？
• RQ5 提案手法は、多様なモデルにおいて、最先端の正確なミニバッチMH手法と比較して、実験的にどのように評価されるか？

主な発見

• 本稿は、任意の不正確なミニバッチMH手法が、真の事後分布から任意に遠い定常分布を持つ可能性があることを示しており、その結果、正確な推論には信頼性が欠けることを示している。
• TunaMHは、スペクトルギャップという観点から、標準的完全データメトロポリス・ハスティングスと同等の収束速度を達成しており、優れたサンプリング効率を示している。
• 著者らは、任意の正確なミニバッチMH手法が所定の収束速度を維持するために必要な期待バッチサイズの下界を証明し、最適性の理論的基盤を確立している。
• TunaMHは漸近的に最適である：同じ収束速度保証を満たすすべての正確なミニバッチMH手法の中で、期待バッチサイズが最小である。
• 実験的に、TunaMHはロバスト線形回帰、切断ガウス混合、ロジスティック回帰の各モデルにおいて、他の正確なミニバッチMH手法を上回り、時間制約下でもより正確な密度推定を実現している。
• 2次元問題における1秒間の実行時間比較では、TunaMHは真の事後分布に最も近い密度推定を生成したが、他のすべての手法は正確に収束に失敗した。