[论文解读] Budgeted Training: Rethinking Deep Neural Network Training Under Resource Constraints

Mengtian Li, Ersin Yumer+1 more|arXiv (Cornell University)|May 12, 2019

Advanced Neural Network Applications参考文献 72被引用 18

一句话总结

本文提出了一种名为预算训练（budgeted training）的形式化框架，用于在固定资源约束（特别是有限训练迭代次数）下优化深度神经网络。研究提出，学习率调度应针对给定预算显式调优，且在训练结束时线性衰减至零的策略在多个基准测试中表现更优，相比标准和自适应调度方法，能在资源限制内实现更好的收敛性能。

ABSTRACT

In most practical settings and theoretical analyses, one assumes that a model can be trained until convergence. However, the growing complexity of machine learning datasets and models may violate such assumptions. Indeed, current approaches for hyper-parameter tuning and neural architecture search tend to be limited by practical resource constraints. Therefore, we introduce a formal setting for studying training under the non-asymptotic, resource-constrained regime, i.e., budgeted training. We analyze the following problem: "given a dataset, algorithm, and fixed resource budget, what is the best achievable performance?" We focus on the number of optimization iterations as the representative resource. Under such a setting, we show that it is critical to adjust the learning rate schedule according to the given budget. Among budget-aware learning schedules, we find simple linear decay to be both robust and high-performing. We support our claim through extensive experiments with state-of-the-art models on ImageNet (image classification), Kinetics (video classification), MS COCO (object detection and instance segmentation), and Cityscapes (semantic segmentation). We also analyze our results and find that the key to a good schedule is budgeted convergence, a phenomenon whereby the gradient vanishes at the end of each allowed budget. We also revisit existing approaches for fast convergence and show that budget-aware learning schedules readily outperform such approaches under (the practical but under-explored) budgeted training setting.

研究动机与目标

• 将非渐近、资源受限条件下的训练形式化，其中优化迭代次数是固定的。
• 通过将优化目标重新定义为在给定预算内最大化性能，弥补现有方法假设无限计算资源的不足。
• 研究在训练被限制在有限迭代次数时，学习率调度对收敛性和模型性能的影响。
• 证明在实际资源受限环境中，感知预算的学习率调度显著优于标准和自适应调度。

提出的方法

• 将预算训练形式化为优化问题：在固定训练迭代次数下最大化模型性能。
• 提出学习率调度应设计为确保在预算结束时梯度幅值减小，这一现象被称为“预算收敛”（budgeted convergence）。
• 采用在训练预算结束时线性衰减至零的学习率衰减策略，作为实现最优性能的简单而有效的方法。
• 在 ImageNet、Kinetics、MS COCO 和 Cityscapes 上使用最先进的模型，对分类、检测和分割任务进行了广泛实验。
• 分析学习率与完整梯度幅值之间的相关性，表明较低的学习率会导致训练结束时梯度更小。
• 使用最终检查点的验证准确率评估模型性能，以最小化在预算设置下的不必要的评估开销。

实验结果

研究问题

• RQ1 当训练被限制在固定迭代次数而非运行至收敛时，性能如何变化？
• RQ2 学习率调度在资源受限条件下实现最优性能方面发挥什么作用？
• RQ3 在预算训练中，是否简单的、平滑衰减的学习率调度（如线性衰减）能优于更复杂或自适应的调度？
• RQ4 为何自适应优化器（如 AMSGrad 和 SGDR）尽管初始收敛迅速，却在预算训练中表现不佳？
• RQ5 学习率衰减与训练结束时梯度幅值减小之间是否存在统计或机制上的关联？

主要发现

• 在所有评估的数据集和任务中，将学习率线性衰减至零的策略始终优于标准和自适应调度。
• 使用线性或多项式衰减时，性能最佳的模型通常恰好出现在最后一个迭代，从而可仅在最后进行高效验证。
• 在 ImageNet 上使用 ResNet-18 时，线性衰减仅用 10% 的预算便达到了全批量训练 98.6% 的性能，而恒定学习率仅达到 81.2%。
• AMSGrad 和 SGDR 展现出快速的初始下降，但未能实现预算收敛，因为其完整梯度范数在预算结束时未趋于零。
• 观察到学习率降低与完整梯度幅值减小之间存在强烈相关性，表明学习率调度控制了优化阶段。
• 感知预算的调度减少了对中间模型检查点和验证的需求，显著节省了视频分类等计算密集型任务（如 Kinetics）的计算资源。