[论文解读] Gradient Descent: The Ultimate Optimizer

Kartik Chandra, Xie, Audrey+2 more|arXiv (Cornell University)|Sep 29, 2019

Advanced Neural Network Applications参考文献 13被引用 20

一句话总结

本文提出了一种完全自动化的、可微分的递归超参数优化框架，用于深度学习中的超参数优化，利用自动微分计算学习率及其他优化器超参数的超梯度。通过堆叠多层基于梯度的超优化器，该方法降低了对初始超参数选择的敏感性，在MLP、CNN和RNN上均实现了鲁棒训练，每层仅增加1–2%的运行时间。

ABSTRACT

Working with any gradient-based machine learning algorithm involves the tedious task of tuning the optimizer's hyperparameters, such as its step size. Recent work has shown how the step size can itself be optimized alongside the model parameters by manually deriving expressions for "hypergradients" ahead of time. We show how to automatically compute hypergradients with a simple and elegant modification to backpropagation. This allows us to easily apply the method to other optimizers and hyperparameters (e.g. momentum coefficients). We can even recursively apply the method to its own hyper-hyperparameters, and so on ad infinitum. As these towers of optimizers grow taller, they become less sensitive to the initial choice of hyperparameters. We present experiments validating this for MLPs, CNNs, and RNNs. Finally, we provide a simple PyTorch implementation of this algorithm (see people.csail.mit.edu/kach/gradient-descent-the-ultimate-optimizer).

研究动机与目标

• 为解决基于梯度优化中的手动超参数调优挑战，自动化计算超梯度。
• 将超参数优化从学习率适应扩展至其他超参数（如动量系数）。
• 通过递归堆叠超优化器（如超超参数等）以降低对初始超参数选择的敏感性。
• 提供一种实用且高效的实现，其计算复杂度随堆叠深度线性增长，并可无缝集成至PyTorch。

提出的方法

• 使用反向模式自动微分自动计算超梯度，而非手动推导，从而消除易出错的符号运算。
• 修改标准SGD更新规则，以联合优化模型权重与学习率α、动量μ等超参数。
• 推导递归更新规则，使在每一步中同时更新权重与超参数，且使用反向传播通过优化过程计算的梯度。
• 实现一个可微分编程接口，支持任意层数的超优化器堆叠，从而实现高阶超优化。
• 采用基于PyTorch的实现，正确管理计算图，并通过日志中的张量解包避免内存泄漏。
• 将该方法应用于MLP、CNN和RNN的训练，采用不同的初始超参数值以评估其鲁棒性。

实验结果

研究问题

• RQ1 自动微分能否消除在优化器超参数调优中对手动推导超梯度的需求？
• RQ2 将超参数优化扩展至学习率以外的参数（如动量）是否能提升训练的鲁棒性？
• RQ3 递归堆叠超优化器能否降低对初始超参数值的敏感性？
• RQ4 增加超优化器堆叠深度的计算成本是多少？
• RQ5 在初始超参数不理想的情况下，该方法在MLP、CNN和RNN等多样化架构上的表现如何？

主要发现

• 高度为1的超优化器在Caltech-256数据集上，无论初始学习率α = 10⁻⁶还是α = 10⁻⁴，均实现了约11%的错误率，而标准SGD在α = 10⁻⁶时失败（错误率达91.5%）。
• 高度为2的超优化器即使在α = 10⁻²的较差初始条件下，也能实现显著的训练进展，表明对初始选择的鲁棒性显著增强。
• 每增加一层超优化器，运行时间仅增加1–2%，表明其随堆叠深度呈线性且高效的扩展特性。
• 该方法可自然推广至动量系数及其他超参数，无需额外推导。
• 随着堆叠深度增加，递归超优化塔对初始超参数的敏感性逐步降低，验证了深度增加带来鲁棒性提升的假设。
• 通过在日志和计算图管理中正确使用张量解包，该实现成功避免了自动微分中常见的内存泄漏问题。