[论文解读] Benchmarking Neural Network Training Algorithms

George E. Dahl, Frank Schneider+23 more|arXiv (Cornell University)|Jun 12, 2023

Advanced Neural Network Applications被引用 6

一句话总结

本文提出 AlgoPerf：Training Algorithms，一个在标准化条件下评估深度学习训练算法的、具有竞争力的训练结果时间基准测试。它通过使用固定硬件、多样化的工作负载变体以及性能分析，解决了公平比较中的关键挑战——训练完成的定义、工作负载敏感性以及超参数调优，展示了不同优化器之间存在非平凡的性能差距，并确立了初步的最先进水平。

ABSTRACT

Training algorithms, broadly construed, are an essential part of every deep learning pipeline. Training algorithm improvements that speed up training across a wide variety of workloads (e.g., better update rules, tuning protocols, learning rate schedules, or data selection schemes) could save time, save computational resources, and lead to better, more accurate, models. Unfortunately, as a community, we are currently unable to reliably identify training algorithm improvements, or even determine the state-of-the-art training algorithm. In this work, using concrete experiments, we argue that real progress in speeding up training requires new benchmarks that resolve three basic challenges faced by empirical comparisons of training algorithms: (1) how to decide when training is complete and precisely measure training time, (2) how to handle the sensitivity of measurements to exact workload details, and (3) how to fairly compare algorithms that require hyperparameter tuning. In order to address these challenges, we introduce a new, competitive, time-to-result benchmark using multiple workloads running on fixed hardware, the AlgoPerf: Training Algorithms benchmark. Our benchmark includes a set of workload variants that make it possible to detect benchmark submissions that are more robust to workload changes than current widely-used methods. Finally, we evaluate baseline submissions constructed using various optimizers that represent current practice, as well as other optimizers that have recently received attention in the literature. These baseline results collectively demonstrate the feasibility of our benchmark, show that non-trivial gaps between methods exist, and set a provisional state-of-the-art for future benchmark submissions to try and surpass.

研究动机与目标

• 解决缺乏可靠、标准化基准测试以比较深度学习训练算法的问题。
• 解决实证比较中的三个核心挑战：精确测量训练时间、工作负载敏感性以及公平的超参数调优。
• 建立一个可复现的、具有竞争性的基准测试，以实现对训练算法改进的公平评估。
• 通过在多个工作负载上评估基线优化器，证明该基准测试的可行性。
• 通过严格、标准化的评估，为未来算法提交设定初步的最先进水平。

提出的方法

• 设计一个基于固定硬件和多种多样化工作负载的时间到结果基准测试，以确保可复现性和公平性。
• 通过修改模型架构、数据和训练超参数来定义工作负载变体，以测试不同配置下的鲁棒性。
• 实施双重视调优协议：外部调优（在基础工作负载上）和自调优（在每个变体上），以评估泛化能力。
• 使用性能轮廓来汇总跨工作负载的结果，从而实现对算法效率的稳健比较。
• 将保留的工作负载纳入评分机制，以防止对特定配置的过拟合，确保结果的泛化能力。
• 采用手动构建工作负载变体的协议，而非依赖自动化随机化，原因在于后者计算成本高且不稳定。

实验结果

研究问题

• RQ1 如何在多样化深度学习工作负载中精确测量并定义训练速度？
• RQ2 在不同模型架构或数据分布下，优化器排名的变化程度如何？
• RQ3 如何对需要不同超参数调优流程的训练算法进行公平比较？
• RQ4 标准化基准测试能否检测并奖励在工作负载变化中表现良好的训练算法？
• RQ5 在严格、标准化条件下评估时，当前最先进优化器之间存在多大的性能差距？

主要发现

• AlgoPerf 基准测试成功识别出广泛使用优化器之间的非平凡性能差异，证明了算法改进是可测量且具有显著影响的。
• 基线结果表明，AdamW 和 NadamW 等优化器在多个工作负载上的时间到结果表现显著优于标准 SGD，某些情况下性能差距超过 20%。
• 性能轮廓显示，某些优化器对工作负载变化更具鲁棒性，而另一些优化器在模型或数据配置改变时性能急剧下降。
• 基准测试中使用保留的工作负载有效防止了对特定配置的过拟合，确保了表现最佳的提交结果具有良好的泛化能力。
• 手动构建工作负载变体比自动化随机化更有效且高效，后者因高拒绝率和不稳定性而表现不佳。
• 该基准测试确立了初步的最先进水平，为未来算法提交设定了明确的超越目标。