[論文レビュー] Understanding Short-Horizon Bias in Stochastic Meta-Optimization

Yuhuai Wu, Mengye Ren+2 more|arXiv (Cornell University)|Mar 6, 2018

Advanced Neural Network Applications参考文献 32被引用数 45

ひとこと要約

本研究は、短期的なメタ目的関数が学習率を非常に小さくする偏りを誘発し、長期的な性能が低下することを示す。確率的で不良条件の設定下での貪欲なスケジュールは失敗し、ノイズのある2次モデルとニューラルネットの実験でこれが示される。

ABSTRACT

Careful tuning of the learning rate, or even schedules thereof, can be crucial to effective neural net training. There has been much recent interest in gradient-based meta-optimization, where one tunes hyperparameters, or even learns an optimizer, in order to minimize the expected loss when the training procedure is unrolled. But because the training procedure must be unrolled thousands of times, the meta-objective must be defined with an orders-of-magnitude shorter time horizon than is typical for neural net training. We show that such short-horizon meta-objectives cause a serious bias towards small step sizes, an effect we term short-horizon bias. We introduce a toy problem, a noisy quadratic cost function, on which we analyze short-horizon bias by deriving and comparing the optimal schedules for short and long time horizons. We then run meta-optimization experiments (both offline and online) on standard benchmark datasets, showing that meta-optimization chooses too small a learning rate by multiple orders of magnitude, even when run with a moderately long time horizon (100 steps) typical of work in the area. We believe short-horizon bias is a fundamental problem that needs to be addressed if meta-optimization is to scale to practical neural net training regimes.

研究の動機と目的

• ニューラルネットワーク訓練における学習率とモーメント推定の調整を核心的な課題として動機づける。
• 非常に短い視野を持つメタ最適化目的がハイパーパラメータを小さなステップに偏らせることを示す。
• 確率性と不良条件化が相互作用して短期視点のバイアスを生み出すのを分析する。
• おもちゃ的分析とニューラルネット実験を通じて、短期視点のメタ最適化が固定スケジュールより劣ることを示す。
• 実用的なメタ最適化における短期視点のバイアスを緩和する方策を示唆する。

提案手法

• モーメントを用いた SGD を分析するため、確率的勾配を持つノイズのある2次コストモデルを定式化する。
• ノイズのある二次設定の下で、モーメントを用いた SGD の平均-分散ダイナミクスを導出する。
• 貪欲に最適な（1ステップ・ルックアヘッド）学習率とモーメントのスケジュールを計算する。
• 貪欲最適と最適化された長期視野のスケジュールを解析的および実証的に比較する。
• MNIST と CIFAR-10 でオフライン/メタ学習実験を実施し、視野効果を検討する。
• 訓練中に学習率とモーメントを適応させるオンライン勾配ベースのメタ最適化（SMD）を実装する。

実験結果

リサーチクエスチョン

• RQ1 短期視野のメタ目的最適化は、学習率とモーメントの選択にどのように影響するか？
• RQ2 貪欲（1ステップ）スケジュールが長期視野の最適スケジュールと一致する条件は何か、あるいは乖離する条件は何か？
• RQ3 確率性と不良条件化がメタ最適化の性能に与える影響は何か？
• RQ4 より長い視野のメタ最適化はニューラルネットの長期的な訓練性能を改善できるか？
• RQ5 メタ最適化における短期視点のバイアスを緩和する実用的な戦略にはどのようなものがあるか？

主な発見

• 短期視野のメタ目的は学習率をあまりにも早く減衰させる偏りを生み、長期的な進展を妨げる。
• ノイズのある不良条件付きの二次設定では、貪欲スケジュールは長期的な損失最小化にとって最適から大きく外れることがある。
• 決定論的または球対称設定では貪欲と最適化されたスケジュールは一致する；確率性と不良条件化が短期視点のバイアスを引き起こす。
• 短期志向のオンラインおよびオフラインのメタ最適化は、手動で調整された固定学習率よりも劣り、時には著しく劣る。
• より長いメタ目的の視野は、より遅い減衰を促すスケジュールを生み出し、長期的な性能が向上することを、MNISTおよびCIFARの実験で示している。