[论文解读] Automatic Gradient Descent: Deep Learning without Hyperparameters

Jeremy Bernstein, Chris Mingard+3 more|arXiv (Cornell University)|Apr 11, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出自动梯度下降（AGD），一种无需超参数的一阶优化器，专为深度神经网络设计，通过Bregman散度和深度相对信任显式利用网络架构。AGD在CIFAR-10和ImageNet上实现最先进性能，无需学习率调优，可开箱即用训练全连接网络与卷积网络，无需手动调整超参数。

ABSTRACT

The architecture of a deep neural network is defined explicitly in terms of the number of layers, the width of each layer and the general network topology. Existing optimisation frameworks neglect this information in favour of implicit architectural information (e.g. second-order methods) or architecture-agnostic distance functions (e.g. mirror descent). Meanwhile, the most popular optimiser in practice, Adam, is based on heuristics. This paper builds a new framework for deriving optimisation algorithms that explicitly leverage neural architecture. The theory extends mirror descent to non-convex composite objective functions: the idea is to transform a Bregman divergence to account for the non-linear structure of neural architecture. Working through the details for deep fully-connected networks yields automatic gradient descent: a first-order optimiser without any hyperparameters. Automatic gradient descent trains both fully-connected and convolutional networks out-of-the-box and at ImageNet scale. A PyTorch implementation is available at https://github.com/jxbz/agd and also in Appendix B. Overall, the paper supplies a rigorous theoretical foundation for a next-generation of architecture-dependent optimisers that work automatically and without hyperparameters.

研究动机与目标

• 消除深度学习优化中手动调整超参数的需求。
• 开发一种理论基础坚实、与架构相关的优化框架，可扩展至大规模模型与数据集。
• 通过结合Bregman散度与深度相对信任，推导出一种无超参数的一阶优化器。
• 实现对ResNet-50等深度网络在ImageNet上的可靠训练，无需学习率调度或调优。
• 为下一代优化器提供基础，使其具备自动化、确定性与架构依赖性。

提出的方法

• 使用Bregman散度将目标函数的线性化误差表示为网络输出功能扰动的形式。
• 应用深度相对信任来约束权重扰动与由此引发的功能扰动之间的关系，捕捉架构的非线性特性。
• 通过主要化-最小化元算法结合上述组件，构建一种与架构相关的主函数。
• 通过相对于权重扰动最小化主函数，推导出更新规则，从而获得无超参数的更新策略。
• 通过启发式方法将框架从全连接网络扩展至卷积网络，并通过实证验证其有效性。
• 采用非渐近、确定性的分析方法，使用标准矩阵与向量范数，避免使用随机矩阵理论。

实验结果

研究问题

• RQ1 能否通过显式编码神经网络架构，推导出一种完全无超参数的一阶优化器？
• RQ2 如何结合Bregman散度与深度相对信任，为非凸深度学习目标构建一种与架构相关的主函数？
• RQ3 该框架能否在无需任何学习率调优或衰减策略的情况下，成功训练ResNet-50等深度网络在ImageNet上的性能？
• RQ4 当使用默认超参数训练时，该优化器是否优于Adam和SGD等标准方法？
• RQ5 该框架能否扩展至其他架构（如Transformer）或包含偏置项的模型？

主要发现

• AGD成功训练了32层全连接网络在CIFAR-10上，而Adam与SGD在默认学习率下均失败。
• 在ResNet-18上，AGD在学习率网格搜索范围内达到与最佳调优的Adam和SGD相当的测试准确率。
• AGD在ImageNet上训练ResNet-50，达到65.5%的top-1测试准确率，与使用0.1学习率且无衰减策略的SGD性能相当。
• 该方法在不同架构上均表现出鲁棒性，并可在大规模数据集上扩展，无需任何超参数调优。
• AGD已在PyTorch中实现并公开发布，支持可复现性与进一步开发。
• 理论框架具有通用性，通过指定其Bregman散度与扰动边界，可轻松扩展至新损失函数或新架构。