[論文レビュー] Relativistic Monte Carlo

Xiaoyu Sean Lu, Valerio Perrone+3 more|arXiv (Cornell University)|Sep 14, 2016

Markov Chains and Monte Carlo Methods参考文献 4被引用数 7

ひとこと要約

本稿では、粒子の速度を制限することで安定性と耐障害性を向上させる相対論的ハミルトニアンモンテカルロ（RHMC）および相対論的確率的勾配降下法（RSGD）を提案する。HMCにおけるニュートン力学を相対論的力学に置き換えることで、粒子の速度に上限を設ける。この手法はベイジアンディープラーニングにおいて、古典的HMCやAdamを上回る性能を示し、MNISTではRSGDがより低いテスト誤差を達成し、SGLD-Adamよりも高いサンプル効率を示した。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a popular Markov chain Monte Carlo (MCMC) algorithm that generates proposals for a Metropolis-Hastings algorithm by simulating the dynamics of a Hamiltonian system. However, HMC is sensitive to large time discretizations and performs poorly if there is a mismatch between the spatial geometry of the target distribution and the scales of the momentum distribution. In particular the mass matrix of HMC is hard to tune well. In order to alleviate these problems we propose relativistic Hamiltonian Monte Carlo, a version of HMC based on relativistic dynamics that introduce a maximum velocity on particles. We also derive stochastic gradient versions of the algorithm and show that the resulting algorithms bear interesting relationships to gradient clipping, RMSprop, Adagrad and Adam, popular optimisation methods in deep learning. Based on this, we develop relativistic stochastic gradient descent by taking the zero-temperature limit of relativistic stochastic gradient Hamiltonian Monte Carlo. In experiments we show that the relativistic algorithms perform better than classical Newtonian variants and Adam.

研究の動機と目的

• 質量行列のチューニング不良や時間離散化への感受性によって引き起こされるハミルトニアンモンテカルロ（HMC）の不安定性を解消すること。
• 高次元でノイズの多い環境下における確率的勾配MCMCの耐障害性を向上させるために、相対論的力学による最大速度制限を導入すること。
• 相対論的MCMCとAdam、RMSProp、Adagradなどの人気のあるディープラーニング最適化手法との理論的かつ実験的関係を確立すること。
• 勾配クリッピングや適応的最適化手法のベイジアン代替手法として、最適化ではなく事後分布からのサンプリングを採用すること。

提案手法

• ニュートン力学の運動エネルギー $ \frac{1}{2m}p^T p $ を、相対論的運動エネルギー $ K(p) = m c^2 \left( \frac{p^T p}{m^2 c^2} + 1 \right)^{1/2} $ に置き換え、光速 $ c $ をハイパーパrameterとして導入する。
• 速度が $ c $ で制限される相対論的ハミルトンの運動方程式を導出し、大きな勾配や粗い時間刻みに対しても安定したダイナミクスを保証する。
• ミニバッチ勾配を組み込み、RMSProp や Adam に類似した更新則を導出することで、相対論的確率的勾配HMC（RSGHMC）を構築する。
• RSGHMCのゼロ温度極限を取ることで、ニューラルネットワークの学習に適した新しい最適化アルゴリズム、相対論的確率的勾配降下法（RSGD）を導出する。
• リープフロッグ積分法を用い、相対論的速度更新を組み込むことで、軌道をシミュレートし、数値的安定性を確保する。
• 相対論的運動エネルギーから自然に導かれる多変量対称双曲型分布を運動量の事前分布として採用する。

実験結果

リサーチクエスチョン

• RQ1 相対論的力学による最大速度の導入は、ハミルトニアンモンテカルロの安定性と耐障害性をどのように向上させるか？
• RQ2 相対論的MCMCアルゴリズムとAdam、RMSProp、Adagradなどの適応的最適化手法との関係は何か？
• RQ3 相対論的確率的勾配HMCのゼロ温度極限から、ディープラーニングに適した競争力のある最適化アルゴリズムが得られるか？
• RQ4 ベイジアンニューラルネットワークにおける収束性と一般化性能の観点から、相対論的アルゴリズムは古典的HMCやSGLD-Adamに比べてどのように差をつけるか？
• RQ5 相対論的MCMCにおけるハイパーパrameter $ c $, $ m $, および $ \epsilon $ の最適なチューニング戦略は何か？

主な発見

• 100ユニットのフィードフォワードネットワークを用いたMNISTでは、RSGDがAdamより低いテスト誤差を達成し、より優れた一般化性能を示した。
• Pima Indiansデータセットでは、RSGDとRHMCがSGLD-Adamを上回った。SGLD-Adamは、小さな勾配による大きな重み更新のため、不安定性を示した。
• RSGNHT（相対論的確率的勾配NUTS）は、さまざまなステップサイズにおいて、ニュートン的バージョンよりも低いスティン不一致を示し、より優れたサンプリング品質を示した。
• 古典的HMCやニュートン的バージョンと比較して、相対論的フレームワークはハイパーパrameterの選択や確率的勾配ノイズに対してはるかに耐障害性が高かった。
• 相対論的MCMCアルゴリズムは、$ \epsilon $ の値が異なる場合でも安定した性能を示し、サンプリング品質の低下が最小限に抑えられた。
• 相対論的力学と適応的最適化手法（Adamなど）との関係は偶然ではない。RSGDはAdamと構造的類似性を示すが、適応的学習率のベイジアン解釈を提供する。