[論文レビュー] Training Recurrent Neural Networks by Diffusion

Hossein Mobahi|arXiv (Cornell University)|Jan 16, 2016

Model Reduction and Neural Networks参考文献 25被引用数 26

ひとこと要約

本論文は、拡散方程式による最適化に基づく、再帰的ニューラルネットワーク（RNNs）のための新しい訓練手法を提案する。この手法は、ノイズ注入、レイヤーワイズ事前学習、冷却学習率といった技術を自然に組み込む。Gaussian畳み込みを用いて損失関数の滑らかさを段階的に向上させることで、SGDと同等の一般化性能をはるかに少ないエポック数で達成し、RNNでは最大25％の高速化を実現する。

ABSTRACT

This work presents a new algorithm for training recurrent neural networks (although ideas are applicable to feedforward networks as well). The algorithm is derived from a theory in nonconvex optimization related to the diffusion equation. The contributions made in this work are two fold. First, we show how some seemingly disconnected mechanisms used in deep learning such as smart initialization, annealed learning rate, layerwise pretraining, and noise injection (as done in dropout and SGD) arise naturally and automatically from this framework, without manually crafting them into the algorithms. Second, we present some preliminary results on comparing the proposed method against SGD. It turns out that the new algorithm can achieve similar level of generalization accuracy of SGD in much fewer number of epochs.

研究の動機と目的

• 一般的な深層学習のヒューリスティクス（例：ドロップアウト、学習率の冷却、レイヤーワイズ事前学習）を自然に組み込む理論的根拠に基づいた統合的フレームワークを構築すること。
• RNNや深層ネットワークにおける非凸的で複雑な損失関数の最適化という課題に取り組むこと。
• 反復的でヒューリスティックな手法に代わって、原理的で連続的な平滑化プロセスを用いることで、訓練の効率を向上させること。
• 拡散ベースの最適化が、SGDと同等の一般化性能を達成しつつ、訓練エポック数を減らせるかどうかを検証すること。
• ReLUや符号関数などの活性化関数を含む一般的な深層学習の目的関数の拡散形を閉形式で近似できるかどうかを調査すること。

提案手法

• 元の目的関数をGaussianカーネルで畳み込むことで、滑らかにした代替損失関数を導出する。これは時間的拡散方程式を解くことと等価である。
• 平滑化パラメータσを大きな値（非常に滑らか）から0（元の損失）へ段階的に減少させることで、中間問題の最小化点を追跡する続行法を実現する。
• ReLUや符号関数などの一般的な活性化関数の拡散形を解析的に計算することで、深層ネットワークにおける滑らかな目的関数の閉形式計算を可能にする。
• 拡散プロセスを通じて、ノイズ注入、レイヤーワイズ事前学習、冷却学習率といった手法が統合され、自然に生じる。
• アルゴリズムは大きなσ（高度に平滑化）から開始し、σを減少させることで段階的に解を精錬する。これにより、鋭い最小値を避けて、より広く安定した盆地に収束する。
• サンプリングに基づくノイズ注入を避けるために、無限個の摂動の平均化効果を閉形式で計算する。これは、マージナル化されたノイズ除去オートエンコーダーに類似しているが、非凸な完全な深層ネットワークに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 拡散方程式フレームワークは、ドロップアウト、学習率の冷却、レイヤーワイズ事前学習といった一般的な深層学習の訓練ヒューリスティクスを統合し、自然に生成できるか？
• RQ2 拡散ベースの最適化手法は、SGDと同等の一般化性能を達成しつつ、訓練時間を短縮できるか？
• RQ3 ReLU や符号関数などの非線形活性化関数を含む深層学習の損失関数のGaussian畳み込みを、閉形式で計算できるか？
• RQ4 平滑化プロセスは最適化軌道にどのように影響するか。特に、悪い局所最小値からの脱出と、より広く安定した最小値への収束の観点から検証する。
• RQ5 拡散ベースの手法が、平坦な最小値を優遇することで一般化性能をどの程度向上させるか。SGDと比較してその効果は？

主な発見

• 提案された拡散ベースの訓練手法は、SGDと同等の一般化精度を達成するが、はるかに少ないエポック数で実現可能であり、RNNでは最大25％の訓練時間短縮が可能である。
• フレームワークは、手動での設計なしに、ノイズ注入、レイヤーワイズ事前学習、冷却学習率といった技術を、拡散プロセスの内在的要素として自然に生成する。
• ReLU や符号関数などの一般的な活性化関数の拡散形は、閉形式で計算可能であり、滑らかな目的関数の効率的計算を可能にする。
• Gaussian畳み込みによる損失関数の平滑化は、より広く安定した最小値を favour する。これは、最近のSGDに関する研究結果とも整合的である。
• 無限個の摂動の平均化効果を閉形式で計算することで、サンプリングを避ける。これはマージナル化されたノイズ除去オートエンコーダーに類似しているが、非凸な完全な深層ネットワークに適用可能である。
• この手法は、続行法における拡散の最適性に基づく理論的根拠を持つ。拡散プロセスは、目的関数の凸包に収束する。