[論文レビュー] Langevin Markov Chain Monte Carlo with stochastic gradients

Charles H. Matthews, Jonathan Weare|arXiv (Cornell University)|May 22, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用数 5

ひとこと要約

本稿では、推定された共分散を用いた確率的勾配を用いることでバイアスを低減し、サンプリング効率を向上させる、新しいラングジュアンMCMCアルゴリズムNOGINを提案する。この手法はステップサイズに関して2次バイアスを達成し、小さなミニバッチでも安定性を維持する。ガウス分布およびベイズ推論のロジスティック回帰タスクにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Monte Carlo sampling techniques have broad applications in machine learning, Bayesian posterior inference, and parameter estimation. Often the target distribution takes the form of a product distribution over a dataset with a large number of entries. For sampling schemes utilizing gradient information it is cheaper for the derivative to be approximated using a random small subset of the data, introducing extra noise into the system. We present a new discretization scheme for underdamped Langevin dynamics when utilizing a stochastic (noisy) gradient. This scheme is shown to bias computed averages to second order in the stepsize while giving exact results in the special case of sampling a Gaussian distribution with a normally distributed stochastic gradient.

研究の動機と目的

• 大規模データセットにおけるMCMCサンプリングの高い計算コストの課題に対処するため、フルデータ勾配の代わりに確率的勾配を用いる。
• アンダーダンプド・ラングジュアンダイナミクスにおけるノイズの多い勾配推定器が引き起こすMCMC平均のバイアスを低減する。
• 勾配近似に小さなミニバッチを使用する場合のサンプリング効率と安定性を向上させる。
• ガウス的ターゲットと正規分布ノイズを伴う場合に正確なサンプリングを保つ手法を開発する。
• フラクチュエーション-散逸バランスを維持し、不安定性を避けるために勾配共分散を考慮した実用的なアルゴリズムを提供する。

提案手法

• 既知の共分散を持つノイズの多い勾配推定器を用いた、アンダーダンプド・ラングジュアンダイナミクスの新しい離散化スキームを提案する。
• 勾配共分散行列に依存する減衰項を組み込んだ、変更された速度更新式を導入し、ダイナミクスの安定性を向上させる。
• 数値的安定性を向上させるために、2つの半ステップ位置更新と中央の速度更新を有する対称的スプリット積分器を用いる。
• 不変測度を保持するために、摩擦とステップサイズの双曲正接に基づくスケーリング係数を有するノイズ項を採用する。
• 有限の力評価履歴から勾配共分散行列を推定し、減衰を適応的に調整する。
• ノイズの存在下でもフラクチュエーション-散逸関係をバランスさせるために、速度更新にプリコンディショニングに類似した補正を適用する。

実験結果

リサーチクエスチョン

• RQ1 小さなミニバッチで安定する一方で、ステップサイズに関して2次バイアスを達成できる確率的勾配MCMC手法は存在するか？
• RQ2 勾配共分散を考慮することで、ラングジュアンベースのMCMCサンプラーの精度と混合時間にどのような影響を与えるか？
• RQ3 勾配ノイズの分散が、確率的勾配MCMCのサンプリング効率と必要な減衰に与える影響は何か？
• RQ4 勾配ノイズが正規分布に従う場合、提案手法は二次的対数事後分布からの正しい不変分布を正確にサンプリングするか？
• RQ5 実世界のベイズ推論タスクにおいて、NOGINアルゴリズムはSGLD、SGNHT、SGHMC、mSGLDと比較して、性能と安定性でどのように差をつけるか？

主な発見

• NOGINは計算された平均においてステップサイズに関して2次バイアスを達成し、1次手法と比較して系統的誤差を顕著に低減する。
• 他の手法（例：SGNHT）が位置依存の共分散により不安定化するのとは異なり、NOGINは小さなミニバッチサイズ（例：n=100）でも安定的かつ正確に動作する。
• MNISTにおけるベイズロジスティック回帰のタスクでは、200回のデータセット走査後、NOGINは分散推定で約1%の誤差を達成し、SGLD、SGHMC、mSGLDを上回る。
• ノイズに起因する増加した減衰がステップあたりの計算コストの削減と相殺されるため、NOGINは異なるミニバッチサイズにおいて一貫したサンプリング効率を維持する。
• 勾配ノイズが正規分布に従う場合、NOGINは二次的対数事後分布に対して正確にターゲット分布からサンプリングすることができ、理論的整合性を確認する。
• 高ノイズ領域で観察される性能の飽和は、混合速度を遅くする過剰な減衰に起因するが、これに対して力評価コストの削減が相殺され、全体の効率性が保たれる。