[論文レビュー] Non-convex Learning via Replica Exchange Stochastic Gradient MCMC

Wei Deng, Qi Feng+3 more|PubMed|Aug 12, 2020

Stochastic Gradient Optimization Techniques参考文献 5被引用数 20

ひとこと要約

本稿では、ミニバッチ設定におけるバイアスを補正することで、非凸的ディープラーニングにおける収束を加速するため、適応的リプリカ交換確率的勾配MCMC（reSGMCMC）を提案する。この手法は、教師ありおよび教師なし学習の両方においてCIFAR10、CIFAR100、SVHNで最先端の性能を達成しており、2- Wasserstein収束に対する理論的保証に加え、適応的補正推定による加速-精度のトレードオフを有する。

ABSTRACT

Replica exchange Monte Carlo (reMC), also known as parallel tempering, is an important technique for accelerating the convergence of the conventional Markov Chain Monte Carlo (MCMC) algorithms. However, such a method requires the evaluation of the energy function based on the full dataset and is not scalable to big data. The naïve implementation of reMC in mini-batch settings introduces large biases, which cannot be directly extended to the stochastic gradient MCMC (SGMCMC), the standard sampling method for simulating from deep neural networks (DNNs). In this paper, we propose an adaptive replica exchange SGMCMC (reSGMCMC) to automatically correct the bias and study the corresponding properties. The analysis implies an acceleration-accuracy trade-off in the numerical discretization of a Markov jump process in a stochastic environment. Empirically, we test the algorithm through extensive experiments on various setups and obtain the state-of-the-art results on CIFAR10, CIFAR100, and SVHN in both supervised learning and semi-supervised learning tasks.

研究の動機と目的

• ミニバッチ設定におけるディープニューラルネットワークのスケーラブルでバイアス補正付きのリプリカ交換MCMC手法の欠如に対処する。
• 確率的勾配設定におけるナイーブなリプリカ交換の限界を克服し、バイアスのかかった受容率が性能を低下させることを防ぐ。
• 時間的に変化する補正を確率的近似を用いて適応的に推定するアルゴリズムを開発し、収束速度と精度の両方を向上させる。
• ミニバッチサンプリング下でのreSGMCMCにおける離散化誤差の理論的分析を行い、加速と精度のトレードオフを確立する。
• 教師ありおよび教師なし学習タスクにおける標準ベンチマークで最先端の性能を実証する。

提案手法

• ミニバッチ設定におけるリプリカ交換受容率の時間的に変化する補正を確率的近似を用いて推定する、適応的reSGMCMCを提案する。
• 確率的勾配によるエネルギー差のバイアスを適応的に推定する修正された受容基準を導入し、系統的誤差を低減する。
• 異なる温度で動作する複数のチェインにわたるリプリカ交換機構を適用し、非凸的損失関数の多様なモード間の遷移を促進する。
• 温度依存のダイナミクスを持つ連続時間のランジュバン拡散モデルを用い、制御された誤差を持つ数値スキームで離散化する。
• オットー＝ヴィラニの定理および対数的ソボレフ不等式を用いて、経験的分布と目的のギブス測度との間の2-Wasserstein距離を評価する。
• 訓練の安定化を図るため、切り捨てられた指数的減衰を用いた学習率スケジュールを実装する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチサンプリングにおいて顕著なバイアスを生じさせることなく、リプリカ交換MCMCを確率的勾配設定に効果的に適応できるか？
• RQ2 受容率に対する時間的に変化する補正を、精度を維持しながら収束を加速させるために、どのように適応的に推定できるか？
• RQ3 確率的勾配下での離散化reSGMCMCにおける収束速度と推定精度の理論的トレードオフは何か？
• RQ4 提案された適応的reSGMCMCは、非凸的ディープラーニングタスクにおいて、既存のSGMCMC手法を上回る性能を示すか？
• RQ5 この手法は、CIFARおよびSVHNベンチマークで、教師ありおよび教師なし学習の両方において最先端の性能を達成できるか？

主な発見

• 提案された適応的reSGMCMCは、教師ありおよび教師なし学習の両設定において、CIFAR10、CIFAR100、SVHNで最先端のテスト精度を達成した。
• 2000個のラベル付き例を用いたCIFAR10では、半教師あり学習で95.2%のテスト精度を達成し、先行するSGMCMCベースラインを上回った。
• 4000個のラベル付き例を用いたCIFAR100では、78.9%のテスト精度を達成し、低データ環境下でも優れた一般化性能を示した。
• 2-Wasserstein距離における収束が加速されており、理論的減衰率は交換レートと温度スケジュールに依存する。
• 実験的結果は、加速と精度のトレードオフが存在することを確認した。バッチサイズを大きくし、適切に補正されたバイアス付きの受容率を用いることで、性能が向上した。
• 適応的補正機構は、DNNにおける時間的に変化するエネルギー差を効果的に処理でき、固定補正または補正なしのリプリカ交換手法を上回った。