[論文レビュー] Gradient Descent: The Ultimate Optimizer

Kartik Chandra, Xie, Audrey+2 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 13被引用数 20

ひとこと要約

本稿では、勾配降下法に基づく最適化におけるハイパーパrameterチューニングの自動化を実現する、完全に自動化された微分可能フレームワークを提案する。自動微分を用いて学習率やその他の最適化アルゴリズムのハイパーパrameterに対するハイパーグレディエントを計算することで、複数段階の勾配ベースのハイパーパラメータ最適化器をスタックすることで、初期ハイパーパラメータの選択に依存しにくくし、MLP、CNN、RNNのあらゆるモデルで安定した学習を実現した。各段階あたりの追加実行時間は1〜2%にとどまり、計算コストは非常に低い。

ABSTRACT

Working with any gradient-based machine learning algorithm involves the tedious task of tuning the optimizer's hyperparameters, such as its step size. Recent work has shown how the step size can itself be optimized alongside the model parameters by manually deriving expressions for "hypergradients" ahead of time. We show how to automatically compute hypergradients with a simple and elegant modification to backpropagation. This allows us to easily apply the method to other optimizers and hyperparameters (e.g. momentum coefficients). We can even recursively apply the method to its own hyper-hyperparameters, and so on ad infinitum. As these towers of optimizers grow taller, they become less sensitive to the initial choice of hyperparameters. We present experiments validating this for MLPs, CNNs, and RNNs. Finally, we provide a simple PyTorch implementation of this algorithm (see people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer).

研究の動機と目的

• 勾配ベースの最適化における手動によるハイパーパラメータチューニングの課題を解決し、ハイパーグレディエントの計算を自動化すること。
• 学習率の最適化を越えて、モーメンタム係数などの他のハイパーパラメータを含めたハイパーパラメータ最適化を拡張すること。
• ハイパーパラメータ最適化器を再帰的にスタック（ハイパーハイパーパラメータなど）することで、初期ハイパーパラメータの選択に依存しにくくすること。
• スタック深さに比例して線形にスケーリングされ、PyTorchにシームレスに統合可能な実用的で効率的な実装を提供すること。

提案手法

• 手動による微分を避けるために、逆方向自動微分を用いてハイパーグレディエントを自動的に計算し、エラーを引き起こしやすい記号的変形を排除する。
• 標準的なSGD更新ルールを変更し、モデルの重みと学習率αやモーメンタムμなどのハイパーパラメータを同時に最適化するようにする。
• バックプロパゲーションを最適化プロセス全体に適用して勾配を計算することで、各ステップで重みとハイパーパラメータを両方とも更新する再帰的更新ルールを導出する。
• 任意のスタック深さに対応できる微分可能プログラミングインターフェースを実装し、高階のハイパーパラメータ最適化を可能にする。
• 計算グラフの管理を適切に行い、ログ記録におけるテンソルの分離を実装することで、メモリリークを回避するPyTorchベースの実装を採用する。
• MLP、CNN、RNNを、さまざまな初期ハイパーパラメータ値を用いて訓練し、安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自動微分によって、最適化アルゴリズムのハイパーパラメータチューニングにおけるハイパーグレディエントの手動導出の必要性を排除できるか？
• RQ2 学習率の最適化を超えて、モーメンタム係数などの他のハイパーパラメータを最適化に含めることで、学習の安定性が向上するか？
• RQ3 ハイパーパラメータ最適化器を再帰的にスタックすることで、初期ハイパーパラメータ値への感受性が低下するか？
• RQ4 ハイパーパラメータ最適化器スタックの深さを増加させた際の計算コストはどの程度か？
• RQ5 初期ハイパーパラメータが不適切な状況下でも、MLP、CNN、RNNといった多様なアーキテクチャに対して本手法はどの程度の性能を示すか？

主な発見

• 高さ1のハイパーパラメータ最適化器は、Caltech-256でα = 10⁻⁶およびα = 10⁻⁴の両方の条件下で約11%の誤差を達成したが、標準的なSGDはα = 10⁻⁶の場合は91.5%の誤差を示した。
• 高さ2のハイパーパラメータ最適化器は、α = 10⁻²という非常に不適切な初期値でも顕著な学習進行を実現し、初期値への感受性が著しく低下していることを示した。
• 各追加のハイパーパラメータ最適化器段階あたり、実行時間は1〜2%しか増加しなかったため、スタック深さに比例して線形かつ効率的にスケーリングされることを示した。
• 追加の導出を必要とせず、モーメンタム係数やその他のハイパーパラメータに対しても自然に一般化された。
• 再帰的ハイパーパラメータ最適化のスタックが深くなるにつれて、初期ハイパーパラメータへの感受性が次第に低下し、深さが増すほど安定性が向上するという仮説が裏付けられた。
• 適切なテンソル分離と計算グラフ管理により、一般的な自動微分の落とし穴（メモリリークなど）を回避する実装が成功した。