[論文レビュー] VeLO: Training Versatile Learned Optimizers by Scaling Up

Luke Metz, J. Harrison+9 more|arXiv (Cornell University)|Nov 17, 2022

Human Pose and Action Recognition被引用数 15

ひとこと要約

VeLO は、多様なタスクで 4,000 以上の TPU マンスの計算資源を活用して大規模なメタラーニングにより訓練された、汎用的でハイパーパrameterフリーの学習された最適化手法である。14% のタスクで学習率をチューニングした Adam より最大 16 倍速く、視覚、言語、意思決定トランスフォーマーを含む実世界のモデルへも効果的に一般化でき、大規模な学習最適化の実現可能性を示している。

ABSTRACT

While deep learning models have replaced hand-designed features across many domains, these models are still trained with hand-designed optimizers. In this work, we leverage the same scaling approach behind the success of deep learning to learn versatile optimizers. We train an optimizer for deep learning which is itself a small neural network that ingests gradients and outputs parameter updates. Meta-trained with approximately four thousand TPU-months of compute on a wide variety of optimization tasks, our optimizer not only exhibits compelling performance, but optimizes in interesting and unexpected ways. It requires no hyperparameter tuning, instead automatically adapting to the specifics of the problem being optimized. We open source our learned optimizer, meta-training code, the associated train and test data, and an extensive optimizer benchmark suite with baselines at velo-code.github.io.

研究の動機と目的

• 手動によるハイパーパrameterチューニングが不要な汎用的で多用途な学習最適化手法の開発。
• 先行研究をはるかに超える規模で学習最適化手法のメタトレーニングをスケーリングし、膨大な計算資源と多様なタスク分布を活用する。
• 未観測のタスクや実世界のモデル（視覚、言語、グラフネットワークを含む）における一般化性能の評価。
• 内部的挙動とメカニズムの解明を目的とした内省的分析とベンチマークテスト。
• ディープラーニングにおけるスケーラブルで適応的な最適化の今後の研究基盤を確立すること。

提案手法

• VeLO は勾配を入力とし、パラメータ更新量を出力するニューラルネットワークであり、多様な最適化タスクにわたるメタラーニングにより訓練されている。
• 視覚、自然言語処理、強化学習モデルを含む多様なディープラーニングタスクで、約 4,000 TPU マンスの計算資源を活用してメタトレーニングが実施された。
• カリキュラムベースのアプローチを採用し、非同期でバッチ処理された勾配更新を実施。長時間にわたるタスクにおける勾配の陳腐化を軽減するため、大きな外側の勾配バッチを使用している。
• 1 ステップあたりの計算オーバーヘッドを最小限に抑えるアーキテクチャ設計により、効率的な推論と大規模モデルへのスケーラビリティを実現している。
• 評価は、83 個の代表的タスクからなるベンチマークスイート「VeLOdrome」と、複数の分野における実世界のモデルトレーニングを通じて実施されている。
• 本システムはオープンソース化されており、完全なメタトレーニングコード、データ、および包括的なベンチマークスイートを velo-code.github.io で公開している。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterチューニングなしで、幅広いディープラーニングタスクに一般化できる学習最適化手法は構築可能か？
• RQ2 メタトレーニングの計算資源とタスクの多様性を拡大することで、学習最適化手法の性能とロバスト性はどのように向上するか？
• RQ3 大規模な学習最適化手法が、多様な学習ダイナミクスに適応するためのどのようなメカニズムを発展させるか？
• RQ4 ハイパーパrameterフリーの最適化手法は、Adam や NAdamW といった手作業でチューニングされた最適化手法と比較して、多様なベンチマークでどのように性能を発揮するか？
• RQ5 学習最適化手法は、メタトレーニングの分布外のタスクに extrapolate した際に、どのような失敗モードや安定性の問題を示すか？

主な発見

• VeLOdrome ベンチマークの 83 タスクのうち 50% のタスクで、学習率をチューニングした Adam よりも 4 倍以上の高速化を達成している。
• 14% 以上のタスクで、学習率をチューニングした Adam よりも 16 倍以上高速であり、優れた一般化性能と適応性を示している。
• RNN-MLP や STAR 最適化手法といった先行の学習最適化手法を、性能と効率の両面で上回っている。
• 視覚、自然言語処理、グラフネットワークを含む実世界のモデル（ResNets、NERF、検出モデル、Transformers、グラフネットワーク）に対しても、タスク固有のチューニングなしで良好な一般化性能を示している。
• ハイパーパrameterの調整を一切必要とせず、多様なアーキテクチャとデータセットで競争力のある性能を発揮している。
• 強力な性能を発揮している一方で、分布外のタスクでは時々発散する場合があるため、安定性の向上メカニズムの強化が求められる。