[論文レビュー] Understanding and correcting pathologies in the training of learned optimizers

Luke Metz, Niru Maheswaranathan+3 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Neural Network Applications被引用数 47

ひとこと要約

本論文は、再パラメータ化と進化戦略勾配推定を組み合わせた変分的外部目的を導入し、学習最適化アルゴリズムの訓練を安定化させ、対象タスク分布におけるCNNの壁時計時間最適化を手設計法よりも高速化する。

ABSTRACT

Deep learning has shown that learned functions can dramatically outperform hand-designed functions on perceptual tasks. Analogously, this suggests that learned optimizers may similarly outperform current hand-designed optimizers, especially for specific problems. However, learned optimizers are notoriously difficult to train and have yet to demonstrate wall-clock speedups over hand-designed optimizers, and thus are rarely used in practice. Typically, learned optimizers are trained by truncated backpropagation through an unrolled optimization process resulting in gradients that are either strongly biased (for short truncations) or have exploding norm (for long truncations). In this work we propose a training scheme which overcomes both of these difficulties, by dynamically weighting two unbiased gradient estimators for a variational loss on optimizer performance, allowing us to train neural networks to perform optimization of a specific task faster than tuned first-order methods. We demonstrate these results on problems where our learned optimizer trains convolutional networks faster in wall-clock time compared to tuned first-order methods and with an improvement in test loss.

研究の動機と目的

• 特定のタスクに特化した学習最適化アルゴリズムを動機づけるとともに、一般的な手設計オプティマイザに代わるものとする。
• 切り捨てられたバックプロパゲーションによる勾配バイアスや勾配の爆発を含む、学習型オプティマイザにおける訓練上の病理を対処する。
• スムージングした損失と2つの無偏りの勾配推定量に基づく安定な外部目的を提案する。
• 学習型オプティマイザが壁時計時間で畳み込みネットワークをより速く訓練し、対象タスクでのテスト損失を改善できることを示す。

提案手法

• 学習オプティマイザのための内部ループと外部ループの最適化を定義する。
• TBPTTによる長いアンロールでのバイアスと勾配の爆発を分析する。
• 変分的外部目的 L(theta) = E_{tilde_theta ~ N(theta, sigma^2 I)}[L(tilde_theta)] を導入する。
• 2つの無偏り勾配推定量を開発する: g_rp (reparameterization) と g_es (evolutionary strategies)。
• 分散の逆数で重み付けして勾配を結合し、更新を安定化させる (g_merged)。
• 勾配分散を低減するために対消性サンプリングを適用する。
• 安定性と性能を向上させるために、内部アンロールを増やすカリキュラムを用いる。

実験結果

リサーチクエスチョン

• RQ1 長いアンロール下で、組み合わせた勾配推定量を用いた変分的外部目的は学習型オプティマイザの訓練を安定化できるか。
• RQ2 このアプローチで訓練された学習型オプティマイザは、CNNの内部タスクにおいて、チューニングされた手設計オプティマイザよりも壁時計時間で優れているか。
• RQ3 検証損失に対する外部訓練は、未知のタスク分布への一般化を改善するか。
• RQ4 勾配推定量の選択とアンロールスケジュールがオプティマイザの性能に与える影響は何か。

主な発見

• 変分外部目的を用いた組み合わせ勾配推定量は、勾配の爆発を起こすことなく長いアンロールを可能にする。
• この方法で訓練された学習型オプティマイザは、SGD+Momentum、RMSProp、Adam などの手設計オプティマイザよりもターゲットCNNタスクでの壁時計時間において優れている。
• 検証目的に対して訓練されたオプティマイザは、未知のタスクでより速く収束し、テスト損失を低下させる。
• 学習型オプティマイザは、異なるアーキテクチャや入力サイズを持つMNISTのような分布外タスクへも一般化する。
• アブレーション研究は、勾配推定量と増加するアンロールカリキュラムが性能にとって重要であることを示す。