[論文レビュー] Learning Gradient Descent: Better Generalization and Longer Horizons

Kaifeng Lv, Shunhua Jiang+1 more|arXiv (Cornell University)|Mar 10, 2017

Machine Learning and Algorithms参考文献 21被引用数 39

ひとこと要約

この論文では、2つの重要なトレーニングテクニックであるランダムスケーリングと損失関数の凸関数との組み合わせを組み込むことで、従来の学習する学習最適化手法や最先端の手法を凌駕する、再帰的ニューラルネットワークに基づく学習可能な最適化手法RNNpropを提案する。シンプルなMLPで訓練されたRNNpropは、より深いネットワーク、長大なトレーニング期間（最大数千ステップ）、およびCNNやLSTMを含む多様なアーキテクチャへ一般化でき、Adam や Adagrad と同等またはそれ以上の性能を達成する。

ABSTRACT

Training deep neural networks is a highly nontrivial task, involving carefully selecting appropriate training algorithms, scheduling step sizes and tuning other hyperparameters. Trying different combinations can be quite labor-intensive and time consuming. Recently, researchers have tried to use deep learning algorithms to exploit the landscape of the loss function of the training problem of interest, and learn how to optimize over it in an automatic way. In this paper, we propose a new learning-to-learn model and some useful and practical tricks. Our optimizer outperforms generic, hand-crafted optimization algorithms and state-of-the-art learning-to-learn optimizers by DeepMind in many tasks. We demonstrate the effectiveness of our algorithms on a number of tasks, including deep MLPs, CNNs, and simple LSTMs.

研究の動機と目的

• 深層ニューラルネットワークのトレーニングにおける手動によるハイパーパrameterチューニングとアルゴリズム選択の課題に対処すること。
• メタ学習された最適化手法の、異なるアーキテクチャや活性化関数にわたる一般化性能を向上させること。
• 学習された最適化手法の有効なトレーニング期間を100ステップを超えて拡張し、数千ステップにわたる安定した最適化を可能にすること。
• RNNベースの最適化手法のロバスト性と適応性を向上させる実用的なトレーニング技術を開発すること。
• 再トレーニングを必要とせずに、MLP、CNN、LSTMを含む多様なモデルを効果的に訓練できる1つの学習可能な最適化手法を実証すること。

提案手法

• 最適化手法は、最適化対象の勾配を入力とし、パラメータ更新を出力するRNN（具体的にはLSTMベースのモデル）として実装される。
• モデルはメタ学習の目的関数を用いて訓練される：シグモイド活性化関数を用いた基本的なMLPにおける100ステップのトレーニングプロセスの最終損失を最小化する。
• トレーニング中にランダムスケーリングが適用される：最適化対象のパラメータをランダムにスケーリングすることで、未観測のアーキテクチャや活性化関数への一般化性能が向上する。
• RNNのトレーニング中に損失関数に凸正則化項を追加することで、収束を加速し、最適化の安定性を向上させる。
• 最終的な最適化手法RNNpropは、より深いMLP、CNN、LSTMを含む多様なタスクで評価され、さまざまなアーキテクチャとデータセットに対して評価される。
• 本手法は、複数のベンチマークとハイパーパrameter設定において、DMoptimizer、Adam、Adagrad、その他のベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 シンプルなMLPで訓練された学習可能な最適化手法は、ReLU活性化関数を用いたより深いまたは広いMLPに対しても一般化可能か？
• RQ2 100ステップのタスクでのみトレーニングされたメタ学習最適化手法は、1000ステップ程度の著しい長いトレーニング期間においても性能を維持できるか？
• RQ3 提案されたトレーニングテクニック（ランダムスケーリングと凸損失の組み合わせ）は、RNNベースの最適化手法の一般化性能とトレーニング安定性を向上させるのにどの程度有効か？
• RQ4 学習された最適化手法RNNpropは、多様なアーキテクチャとデータセットにおいて、手作業で設計された最適化手法（Adam や Adagrad）と同等またはそれ以上の性能を達成できるか？
• RQ5 最適化対象の構造（例：CNN、LSTM）は、メタ学習された最適化手法の一般化能力にどの程度影響を与えるか？

主な発見

• RNNpropは、最終損失が0.30にまで低下する1000ステップのReLU活性化MLPのトレーニングに成功し、DMoptimizer（26.43）を上回り、Adam や Adagrad と同等またはそれ以上の性能を示した。
• 小さなノイズ（N(0,0.01)）を含む2層LSTMでは、RNNpropは最終損失0.36を達成し、Adam（0.39）や Adagrad（0.50）を上回った。
• 100ステップのMLPでトレーニングされたRNNpropは、MNISTデータセットの4層CNNを1000ステップ以上にわたってトレーニングする際にも、Adamと同等の性能を示した。
• ランダムスケーリングが最も効果的であった：これを除去すると、ReLU活性化MLPにおける性能が著しく低下した一方で、凸損失の組み合わせはトレーニングの加速に寄与した。
• 基本的なMLPにおける15,000イテレーションのトレーニングでは、RNNpropは最終損失0.30を達成したが、凸組み合わせを含まないバージョンは0.33にとどまり、正則化テクニックの有効性が裏付けられた。
• 2層LSTMでは、RNNpropは損失0.28を達成し、DMoptimizer（5.06）や Adam（0.44）を著しく上回った。