[論文レビュー] Langevin Dynamics with Continuous Tempering for Training Deep Neural Networks

Nanyang Ye, Zhanxing Zhu+1 more|arXiv (Cornell University)|Mar 13, 2017

Gaussian Processes and Bayesian Inference参考文献 23被引用数 8

ひとこと要約

本稿では、深層ニューラルネットワークのための2段階訓練手法である継続的温度調整ランジュヴィアンダイナミクス（CTLD）を提案する。最初の段階では、連続的温度調整を用いたベイズ的サンプリングにより損失のランドスケープを探索し、局所的最適解に早期に捕らわれるのを回避する。2番目の段階では、微分可能な最適化によるファインチューニングを行う。CTLDは、オートエンコーダーやRNNを含む複数のアーキテクチャで最先端の一般化性能を達成し、収束性とハイパーパrameterへのロバスト性が向上している。

ABSTRACT

Minimizing non-convex and high-dimensional objective functions is challenging, especially when training modern deep neural networks. In this paper, a novel approach is proposed which divides the training process into two consecutive phases to obtain better generalization performance: Bayesian sampling and stochastic optimization. The first phase is to explore the energy landscape and to capture the "fat" modes; and the second one is to fine-tune the parameter learned from the first phase. In the Bayesian learning phase, we apply continuous tempering and stochastic approximation into the Langevin dynamics to create an efficient and effective sampler, in which the temperature is adjusted automatically according to the designed "temperature dynamics". These strategies can overcome the challenge of early trapping into bad local minima and have achieved remarkable improvements in various types of neural networks as shown in our theoretical analysis and empirical experiments.

研究の動機と目的

• 深層ニューラルネットワークの訓練における、劣悪な局所的最適解への早期捕らわれによる一般化性能の低下という課題に対処すること。
• 高次元かつ非凸な損失ランドスケープの効率的かつ適応的なサンプリングを可能にすることで、探索性を向上させること。
• 従来の確率的最適化手法における冷却スケジュールの手動によるハイパーパrameterチューニングに依存するのを軽減すること。
• ベイズ的サンプリングと連続的温度調整を組み合わせた、スケーラブルでロバストな訓練フレームワークを構築し、最適化の初期化を改善すること。
• 事前に定義された冷却スケジュールと比較して、連続的温度調整が深層学習において有効であることを検証すること。

提案手法

• 訓練を2段階に分ける：まずベイズ的サンプリングと連続的温度調整、次にファインチューニングのための確率的最適化。
• 温度が動的結合された「温度ダイナミクス」によって連続的に変化する、拡張された確率的勾配2次元ランジュヴィアンダイナミクスを採用。
• 温度は手動でスケジューリングされるのではなく、探索を促進する微分方程式に従って制御変数αに基づき適応的に調整される。
• ノイズの大きさβ̃ = 1/g(α)はサンプリング中に滑らかに変化し、エネルギーランドスケープの制御された適応的探索を可能にする。
• メタダイナミクスにインspiredしたアプローチにより温度を調整し、サンプラーがモード間を飛び越えて探索し、早期収束を回避できる。
• 標準的な深層学習フレームワークと互換性がある、離散化された積分を用いた連続時間確率過程として実装される。

実験結果

リサーチクエスチョン

• RQ1 ランジュヴィアンダイナミクスにおける連続的温度調整は、深層ニューラルネットワークの高次元かつ非凸な損失ランドスケープの探索を改善できるか？
• RQ2 固定または手動スケジュールの冷却と比較して、適応的温度調整は一般化性能と収束速度において優れているか？
• RQ3 連続的温度調整を用いたベイズ的サンプリングは、一般化性能に良い影響を与える「太いモード」を効果的に特定できるか？
• RQ4 学習率、モーメンタム、温度範囲などのハイパーパrameterの変動に対して、本手法はどれほどロバストか？
• RQ5 サンプリングから最適化への2段階フレームワークは、多様なアーキテクチャとタスクにおいて一貫して性能を向上させられるか？

主な発見

• 文字レベルRNNにおけるWiki Hutter Prize 100MBデータセットにおいて、CTLDはRMSProp、Adam、SGLDを上回る最良のテストパープレキシティを達成した。
• スタックドノイズ除去オートエンコーダーにおいて、初期のサンプリングが遅いものの、効果的な探索による良好な初期化のおかげで収束性と最終的な性能が優れていた。
• CTLDにおけるノイズの大きさβ̃の進化は適応的に制御され、動的に調整されており、SantaやAnnealSGDのような固定または単調に減少するスケジュールとは異なっていた。
• 感度分析の結果、ハイパーパrameter w と σ が性能にほとんど影響を与えないことが判明し、テスト範囲内で本手法のロバスト性が示された。
• Sを用いた温度範囲の拡大により一般化性能がわずかに向上したが、顕著な向上は得られず、本手法が安定的であり、Sに過敏でないことが示された。
• 2段階設計（ベイズ的サンプリング → 最適化）は、標準的最適化手法を用いたエンドツーエンド訓練と比較して、実証的に優れた一般化性能をもたらすことが確認された。