[论文解读] Gradient-based Hyperparameter Optimization through Reversible Learning

Dougal Maclaurin, David Duvenaud+1 more|arXiv (Cornell University)|Feb 11, 2015

Machine Learning and Data Classification参考文献 31被引用 403

一句话总结

本文提出一种方法，通过精确反转带有动量的随机梯度下降的动力学，计算交叉验证损失相对于超参数的精确梯度。通过仅存储少量辅助信息，该方法将内存使用量减少至原来的1/200，从而实现对数千个超参数（包括学习率调度、初始化分布和正则化方案）的高效优化，在神经网络超参数调优任务中展现出最先进性能。

ABSTRACT

Tuning hyperparameters of learning algorithms is hard because gradients are usually unavailable. We compute exact gradients of cross-validation performance with respect to all hyperparameters by chaining derivatives backwards through the entire training procedure. These gradients allow us to optimize thousands of hyperparameters, including step-size and momentum schedules, weight initialization distributions, richly parameterized regularization schemes, and neural network architectures. We compute hyperparameter gradients by exactly reversing the dynamics of stochastic gradient descent with momentum.

研究动机与目标

• 解决机器学习中超参数优化的挑战，其中由于存在内部训练循环，梯度通常不可用。
• 克服反向模式微分在超参数反向传播中的内存瓶颈，传统方法需存储完整的训练轨迹。
• 通过可逆学习动力学，实现基于带动量随机梯度下降的高效、精确梯度计算。
• 促进对复杂、高维超参数空间的自动调优，包括学习率调度、初始化分布和正则化方案。
• 提供一个可扩展的超参数优化框架，支持模型和训练过程的丰富、结构化超参数化。

提出的方法

• 提出一种可逆学习框架，通过仅存储少量辅助变量，精确反转带动量随机梯度下降的每一步。
• 使用精确算术反转训练动力学，实现无需存储中间参数状态的整个训练过程的反向传播。
• 提出一种内存高效的算法，在动量为0.9时，与标准反向模式微分相比，将存储需求降低200倍。
• 通过反转动力学，将梯度反向传播至整个训练过程，计算所有连续超参数的精确超梯度。
• 应用该方法计算验证损失相对于学习率调度、权重初始化分布和逐样本正则化等超参数的梯度。
• 利用训练动力学的精确可逆性，避免检查点机制，降低内存占用，同时保持计算精度。

实验结果

研究问题

• RQ1 尽管存在内部训练循环，是否能够高效计算验证损失相对于超参数的精确梯度？
• RQ2 通过利用带动量随机梯度下降的动力学可逆性，超梯度计算的内存开销能降低到何种程度？
• RQ3 该方法能否扩展至同时优化数千个超参数，包括复杂的、结构化的调度和初始化方案？
• RQ4 与文献中标准启发式方法相比，优化后的超参数表现如何？它们为学习动力学提供了哪些新见解？
• RQ5 该方法是否适用于在多种模型架构和训练流程中实现端到端的超参数优化？

主要发现

• 所提方法通过精确反转训练动力学，实现了基于带动量随机梯度下降的超梯度精确计算，无需存储完整训练轨迹。
• 当动量设为0.9时，内存使用量相比标准反向模式微分减少至1/200，使大规模超参数优化成为可能。
• 该方法成功实现了对数千个超参数的并行优化，包括细粒度学习率调度、逐层权重初始化分布和逐像素数据预处理方案。
• 优化后的学习率调度和初始化方法揭示了与标准启发式方法不同的非直观模式，为有效训练动力学提供了新见解。
• 该方法实现了模型架构、正则化和训练过程的自动、基于梯度的调优，在基准任务上达到最先进性能。
• 该框架可推广至其他基于动量的优化方法（如RMSprop和Adam），表明其在更广泛场景中的适用性。