[論文レビュー] Automatic Gradient Descent: Deep Learning without Hyperparameters

Jeremy Bernstein, Chris Mingard+3 more|arXiv (Cornell University)|Apr 11, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

この論文は、Bregman散発とディープリレタティブトラストを用いてネットワークアーキテクチャを明示的に活用する、ハイパーパrameterフリーの一次順最適化手法であるAutomatic Gradient Descent (AGD)を導入する。AGDは、学習率のチューニングなしにCIFAR-10およびImageNetで最先端の性能を達成し、全結合および畳み込みニューラルネットワークを手動のハイパーパrameter調整なしに即座に訓練可能である。

ABSTRACT

The architecture of a deep neural network is defined explicitly in terms of the number of layers, the width of each layer and the general network topology. Existing optimisation frameworks neglect this information in favour of implicit architectural information (e.g. second-order methods) or architecture-agnostic distance functions (e.g. mirror descent). Meanwhile, the most popular optimiser in practice, Adam, is based on heuristics. This paper builds a new framework for deriving optimisation algorithms that explicitly leverage neural architecture. The theory extends mirror descent to non-convex composite objective functions: the idea is to transform a Bregman divergence to account for the non-linear structure of neural architecture. Working through the details for deep fully-connected networks yields automatic gradient descent: a first-order optimiser without any hyperparameters. Automatic gradient descent trains both fully-connected and convolutional networks out-of-the-box and at ImageNet scale. A PyTorch implementation is available at https://github.com/jxbz/agd and also in Appendix B. Overall, the paper supplies a rigorous theoretical foundation for a next-generation of architecture-dependent optimisers that work automatically and without hyperparameters.

研究の動機と目的

• 深層学習最適化における手動のハイパーパrameterチューニングの必要性を排除すること。
• 大規模なモデルおよびデータセットにスケーリング可能な、理論的裏付けがありアーキテクチャに配慮した最適化フレームワークを構築すること。
• Bregman散発とディープリレタティブトラストを組み合わせることで、ハイパーパrameterのない一次順最適化手法を導出すること。
• 学習率スケジュールやチューニングなしに、ResNet-50のような深層ネットワークをImageNetで信頼性高く訓練できること。
• 次世代の最適化手法の基盤を提供すること。その特徴は自動的、決定論的、アーキテクチャ依存であること。

提案手法

• 目的関数の線形化誤差をネットワーク出力における関数的摂動の観点からBregman散発を用いて表現する。
• 重みの摂動とそれに起因する関数的摂動の関係を制約するためにディープリレタティブトラストを適用し、アーキテクチャの非線形性を捉える。
• これらをマジョライズ・ミニマイズのメタアルゴリズムを用いて統合し、アーキテクチャ依存のマジョライジング関数を構築する。
• 重みの摂動に関してマジョライジング関数を最小化することで更新則を導出し、ハイパーパラメータフリーの更新を実現する。
• ヒューリスティックな適応により、全結合ネットワークから畳み込みネットワークへとフレームワークを拡張し、実験的に妥当性を検証する。
• ランダム行列理論を避けるために、標準的な行列およびベクトルノルムを用いた非漸近的・決定論的解析を採用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのアーキテクチャを明示的に組み込むことで、ハイパーパラメータが完全に不要な一次順最適化手法を導出できるか？
• RQ2 Bregman散発とディープリレタティブトラストをどのように組み合わせることで、非凸な深層学習目的関数のアーキテクチャに配慮したマジョライジング関数を構築できるか？
• RQ3 このようなフレームワークにより、学習率チューニングや減衰スケジュールなしに、ResNet-50のような深層ネットワークをImageNetで訓練できるか？
• RQ4 デフォルトのハイパーパラメータで訓練した場合、Adam や SGD と比較して、この最適化手法が優れた性能を示すか？
• RQ5 トランスフォーマーやバイアスを有するモデルを含む、他のアーキテクチャへもこのフレームワークを拡張可能か？

主な発見

• AGDは、デフォルトの学習率でAdamやSGDが失敗する32層の全結合ネットワークをCIFAR-10で正常に訓練できる。
• ResNet-18では、学習率グリッドサーチの範囲内で、最高にチューニングされたAdamやSGDの性能と同等のテスト精度を達成する。
• AGDは、学習率0.1で減衰スケジュールなしに、ImageNetでResNet-50を訓練し、トップ1テスト精度65.5%を達成し、SGDと同等の性能を示す。
• この手法はアーキテクチャに依存せず、ハイパーパラメータチューニングなしに大規模データセットへスケーリング可能である。
• AGDはPyTorchで実装され、公開されており、再現性とさらなる開発を可能にしている。
• 理論的フレームワークは一般性を有し、損失関数やアーキテクチャのBregman散発および摂動バウンズを指定することで、新規のものへも容易に拡張可能である。