[論文レビュー] Disentangling Adaptive Gradient Methods from Learning Rates

Naman Agarwal, Rohan Anil+3 more|arXiv (Cornell University)|Feb 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用数 8

ひとこと要約

本稿では、最適化更新の大きさと方向を分離する「グラフト化」手法を導入し、深層学習最適化手法における性能差の主な要因が、適応的プリコンディショニングではなく学習率スケジューリングであることを明らかにした。主な発見は、訓練曲線および一般化性能が、適応的メソッド自体よりも、暗黙のステップサイズスケジューリングに支配されていることである。実験的検証により、グラフト化によってAdaGradのスケジューリングを是正することで、性能が顕著に向上することが示された。

ABSTRACT

We investigate several confounding factors in the evaluation of optimization algorithms for deep learning. Primarily, we take a deeper look at how adaptive gradient methods interact with the learning rate schedule, a notoriously difficult-to-tune hyperparameter which has dramatic effects on the convergence and generalization of neural network training. We introduce a "grafting" experiment which decouples an update's magnitude from its direction, finding that many existing beliefs in the literature may have arisen from insufficient isolation of the implicit schedule of step sizes. Alongside this contribution, we present some empirical and theoretical retrospectives on the generalization of adaptive gradient methods, aimed at bringing more clarity to this space.

研究の動機と目的

• 適応的最適化子の評価において、暗黙の学習率スケジューリングがもたらす混同要因を解消すること。
• 深層学習最適化における、適応的プリコンディショニングの真の影響を、学習率ダイナミクスから分離して評価すること。
• ステップサイズの大きさと更新方向を分離することで、最適化子の評価に役立つ診断ツールを提供すること。
• 適応的メソッドの一般化性能に関する長年の主張を、ハイパーパramータの相互作用による混同要因を踏まえて再評価すること。
• 多くの実験的信念が、学習率スケジューリングの不十分な分離に起因している可能性を示すこと。

提案手法

• 一つの最適化子（例：SGD）の方向と、別の最適化子（例：AdaGrad）の大きさを組み合わせる「グラフト化」メタ最適化子を提案し、ステップサイズと更新方向を独立して制御可能にする。
• 二種類のグラフト化バリエーションを導入：レイヤー単位のグラフト化（各レイヤーの学習率大きさ）とグローバルグラフト化（スカラー単一の大きさ）、両者ともステップサイズスケジューリングの影響を分離するために使用。
• グラフト化を診断ツールとして用い、大きさのソースを固定し方向を変化させることで、適応的プリコンディショニングの個別的寄与を評価する。
• 大規模なビジョンおよびNLPモデル（ResNet、Transformer）にグラフト化を適用し、学習率スケジューリングが適応的動作よりも優勢であることを実証的に検証。
• グラフト化を用いて、AdaGradのステップサイズに線形増加スケジュールを適用する補正法を発見し、画像分類タスクでの性能向上を示した。
• 先行研究（例：[WRS+17]）の再現研究を実施し、適応的メソッドの一般化性能に劣るという主張の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 深層学習における最適化手法の性能が、適応的プリコンディショニングではなく、暗黙の学習率スケジューリングに起因する程度はどの程度か？
• RQ2 AdaGradの暗黙のステップサイズスケジューリングを是正することで、適応的最適化手法の性能を向上させられるか？
• RQ3 なぜ最適化子の選択が、NLP（例：Transformer）ではコンピュータビジョン（例：ResNets）ほど堅牢でないのか？
• RQ4 学習率スケジューリングなどの混同要因が、適応的最適化手法の真の評価をどのように妨げているか？
• RQ5 グラフト化を用いて、新たな効果的な最適化アルゴリズムやハイパーパramータスケジューリングを発見できるか？

主な発見

• ResNetおよびTransformerモデルの両方において、訓練曲線および最終的な性能は、更新の方向ではなく、大きさのソース（すなわち、暗黙の学習率スケジューリング）に支配されている。
• レイヤー単位のグラフト化により、AdaGradとSGDの間で大きさのソースの選択が、方向の選択よりも性能に強い影響を与えることが判明した。特に、追加のチューニングなしでも同様の結果が得られた。
• AdaGradのステップサイズに線形増加スケジュールを適用する補正により、画像分類タスクにおける性能が顕著に向上し、CIFAR-10におけるVGGNetに対しても同様の効果が得られた。
• グローバルグラフト化はビジョン（ResNet）では有効であるが、NLP（Transformer）ではグローバル学習率を慎重にチューニングしない限り失敗する。これは、NLPモデルがより感受性が高いことを示唆している。
• グラフト化によって示唆される、TransformerにおけるAdaGradとSGDの間のレイヤー単位のステップサイズ補正は、最大で5桁のオーダーの差異を示しており、NLPにおける最適化子選択の非感受性（Brittleness）を説明している。
• [WRS+17]の再現実験により、元の研究で示された適応的メソッドの一般化性能の劣化という主張は、CIFAR-10に限定される可能性が示され、AdaGradへの線形補正はImageNetに対しても適用可能であることが確認された。