[論文レビュー] Learning by Turning: Neural Architecture Aware Optimisation

Yang Liu, Jeremy Bernstein+2 more|arXiv (Cornell University)|Feb 14, 2021

Neural Networks and Applications参考文献 45被引用数 5

ひとこと要約

本論文では、重みのバランスが取れたネットワークに対して、各ニューロンのハイパーハイパーフラットを学習率を回転角として用いて回転させることで、各ニューロンごとの射影勾配降下を実行する、新しいニューラル最適化手法Neroを紹介する。Neroは、最小限のハイパーパrameterチューニングで、多様なディープラーニングタスクにおいて最先端の性能を達成し、Adam や SGD よりも困難な設定で優れた性能を発揮する一方、Adam や LAMB の約 √1/2 のメモリ使用量で済む。

ABSTRACT

Descent methods for deep networks are notoriously capricious: they require careful tuning of step size, momentum and weight decay, and which method will work best on a new benchmark is a priori unclear. To address this problem, this paper conducts a combined study of neural architecture and optimisation, leading to a new optimiser called Nero: the neuronal rotator. Nero trains reliably without momentum or weight decay, works in situations where Adam and SGD fail, and requires little to no learning rate tuning. Also, Nero's memory footprint is ~ square root that of Adam or LAMB. Nero combines two ideas: (1) projected gradient descent over the space of balanced networks; (2) neuron-specific updates, where the step size sets the angle through which each neuron's hyperplane turns. The paper concludes by discussing how this geometric connection between architecture and optimisation may impact theories of generalisation in deep learning.

研究の動機と目的

• Adam や SGD といった標準的なディープラーニング最適化手法の脆さとハイパーパrameterへの感受性を解消すること。
• ニューラルアーキテクチャ設計と最適化ダイナミクスの関係を調査し、ヒューリスティックなチューニングへの依存を減らすこと。
• バランスの取れたニューラルネットワークの幾何的構造に自然に適合する最適化手法を開発すること。
• アーキテクチャの制約が、深層ネットワークにおける一般化と学習安定性に与える影響を調査すること。
• モーメンタムや重み減衰なしに、メモリのオーバーヘッドを低減し、トレーニングの信頼性を向上させること。

提案手法

• 重みが単位球面上にあるバランスの取れたネットワークを表すために、超球の直積として最適化ドメインを形式化する。
• この制約付き多様体上で射影勾配降下を実装し、トレーニング全体を通して重みのバランスを維持する。
• 各ニューロンごとの更新を導入し、学習率が各ニューロンのハイパーフラットの回転角を制御する。
• 重みの更新を、超球空間内での回転として幾何学的に解釈することで、モーメンタムや重み減衰の必要性を排除する。
• Adam や LAMB に対して √(d) のスケーリングで、計算効率の高い更新ルールを適用し、メモリ使用量を削減する。
• ニューラルアーキテクチャの内在的対称性と構造を活用して最適化を導き、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ディープネットワーク重みの最適化に最適なドメインは何か？ そして、重みバランスのようなアーキテクチャ制約とどのように関係するか？
• RQ2 最適化は、シナプス単位、レイヤー単位、それともニューロン単位というどの粒度で実行すべきか、トレーニングの安定性を向上させるために？
• RQ3 超球多様体からの幾何的インサイトは、よりロバストでハイパーパrameterに感受性の低い最適化手法を生み出すことができるか？
• RQ4 アーキテクチャと最適化の相互作用は、深層ニューラルネットワークにおける一般化にどのように影響するか？
• RQ5 ネットワークのアーキテクチャ構造に合わせることで、正則化をより解釈可能かつ効果的にできるか？

主な発見

• Neroは、学習率のチューニングなしに、画像分類、画像生成、NLP、強化学習のあらゆるタスクで優れた初期性能を発揮する。
• 100層のMLPとWMT16 En–De transformerを除くすべての実験で、Neroはデフォルトのハイパーパrameterで正常に学習が成功し、チューニング済みのベースラインを上回った。
• Neroのメモリ使用量は、Adam や LAMB の約 √1/2 であり、顕著にメモリオーバーヘッドを低減している。
• Neroは、モーメンタムや重み減衰の必要性を排除し、幾何的射影と角度更新に依存している。
• 理論的分析により、一般化誤差がパラメータ数、データサイズ、および一意のロバスト解の数の対数に依存して有界であることが示され、過パラメータ化された状態でも一般化性能が向上する可能性を示唆している。
• ゲインパラメータを1に正則化することが、標準的な重み減衰よりも効果的で解釈可能であることが判明し、アーキテクチャに配慮した正則化の利点を強調している。