[論文レビュー] AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC

Ruqi Zhang, A. Feder Cooper+1 more|arXiv (Cornell University)|Feb 29, 2020

Markov Chains and Monte Carlo Methods被引用数 8

ひとこと要約

AMAGOLDは、固定ステップサイズで漸近的に正確なサンプリングを達成し、計算コストを均等に分散させることで、SGHMCにおけるバイアスを除去する、新しい2次確率的勾配MCMCアルゴリズムである。固定ステップサイズで漸近的に正確なサンプリングを実現し、バッチサイズが全バッチの基準と比較して定数倍の収束速度を達成する。合成および実世界のベイジアン推論タスクにおいて、SGHMCよりもロバスト性と精度に優れている。

ABSTRACT

Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is an efficient method for sampling from continuous distributions. It is a faster alternative to HMC: instead of using the whole dataset at each iteration, SGHMC uses only a subsample. This improves performance, but introduces bias that can cause SGHMC to converge to the wrong distribution. One can prevent this using a step size that decays to zero, but such a step size schedule can drastically slow down convergence. To address this tension, we propose a novel second-order SG-MCMC algorithm---AMAGOLD---that infrequently uses Metropolis-Hastings (M-H) corrections to remove bias. The infrequency of corrections amortizes their cost. We prove AMAGOLD converges to the target distribution with a fixed, rather than a diminishing, step size, and that its convergence rate is at most a constant factor slower than a full-batch baseline. We empirically demonstrate AMAGOLD's effectiveness on synthetic distributions, Bayesian logistic regression, and Bayesian neural networks.

研究の動機と目的

• SGHMCにおける確率的勾配と固定ステップサイズが引き起こすバイアスを是正し、真の事後分布への収束を可能にすること。
• 計算効率の高い確率的勾配MCMCを維持しながら、漸近的に正確なサンプリングを保証すること。
• メトロポリス・ハスティングス補正をTステップごとに適用することで、その計算負荷を軽減し、コストを均等に分散させること。
• ステップサイズの減少や正確なノイズ分散推定を必要とせず、収束速度とバイアス除去に関する理論的保証を提供すること。
• 合成分布、ベイジアンロジスティック回帰、ベイジアンニューラルネットワークにおけるAMAGOLDのロバスト性と性能を実験的に検証すること。

提案手法

• AMAGOLDは、SGHMCの更新シーケンスにおいて、各イテレーションではなくTステップごとにメトロポリス・ハスティングス補正を適用することで、確率的勾配によるバイアスを是正する。
• 運動量変数とエネルギー蓄積器を備えた、可逆または非可逆なSGHMCの変種を用い、更新中のエネルギー変化を追跡する。
• 詳細なバランスを保証するため、全エネルギー差と蓄積された運動量項を用いてメトロポリス・ハスティングスの受容確率を計算する。
• 同じ補正をTステップにわたり再利用することで、M-H補正のコストを均等に分散させ、1ステップあたりのオーバーヘッドを低減する。
• スペクトルギャップに基づく収束速度の上限を導出し、AMAGOLDの収束速度が全バッチベースラインと定数倍の範囲内にあることを示す。
• ステップサイズの減少や正確なノイズ分散推定を必要とせず、実用的使いやすさが向上する。

実験結果

リサーチクエスチョン

• RQ1 SGHMCにおけるメトロポリス・ハスティングス補正をまれに適用することで、計算コストが著しく増大することなく、漸近的に正確なサンプリングを維持できるか？
• RQ2 TステップにわたりM-H補正を均等に分散させることで、全バッチMCMCの収束特性を保持しつつ、計算効率を維持できるか？
• RQ3 確率的勾配を用いても、AMAGOLDが全バッチHMCと比較して定数倍の収束速度を達成できるか？
• RQ4 ステップサイズの選定に特に敏感でないSGHMCと比較して、AMAGOLDはハイパーパrameter選択に対してどれほどロバストか？
• RQ5 ベイジアンロジスティック回帰やベイジアンニューラルネットワークといった実世界のベイジアン推論タスクにおいて、AMAGOLDは精度を維持できるか？

主な発見

• AMAGOLDは固定ステップサイズで真の事後分布に収束し、SGHMCで一般的に用いられるバイアス低減のためのステップサイズの減少を不要にする。
• AMAGOLDの収束速度は、全バッチベースラインと比較して定数倍の範囲内に制限され、理論的効率性を示している。
• SGHMCと比較して、ステップサイズ選択に対してはるかにロバストであり、広い範囲のステップサイズで安定した性能を発揮する。
• 合成分布の実験では、ステップサイズが最適でない場合でもSGHMCよりもKLダイバージェンスが低くなる。
• ベイジアンロジスティック回帰とベイジアンニューラルネットワークの両タスクにおいて、AMAGOLDはSGHMCを上回るサンプリング精度と一般化性能を達成し、実行時間においても全バッチベースラインと同等の性能を維持する。
• AMAGOLDにおけるM-H受容確率は、広い範囲のステップサイズで十分に高く保たれ、過剰な拒否を伴わず効果的な探索が可能である。