[论文解读] DeepOBS: A Deep Learning Optimizer Benchmark Suite

Frank Schneider, Lukas Balles+1 more|arXiv (Cornell University)|Mar 13, 2019

Advanced Neural Network Applications参考文献 49被引用 6

一句话总结

DeepOBS 是一个基于 TensorFlow 的开源 Python 基准测试套件，用于深度学习优化器，通过使用真实且多样的深度学习任务，标准化了随机优化器的评估。它自动化了基准测试流程，为 SGD、Momentum 和 Adam 提供了 8 种不同问题的预训练基线结果，并通过测试准确率、损失和收敛速度等标准化指标，在多次运行中确保了公平且可复现的比较。

ABSTRACT

Because the choice and tuning of the optimizer affects the speed, and ultimately the performance of deep learning, there is significant past and recent research in this area. Yet, perhaps surprisingly, there is no generally agreed-upon protocol for the quantitative and reproducible evaluation of optimization strategies for deep learning. We suggest routines and benchmarks for stochastic optimization, with special focus on the unique aspects of deep learning, such as stochasticity, tunability and generalization. As the primary contribution, we present DeepOBS, a Python package of deep learning optimization benchmarks. The package addresses key challenges in the quantitative assessment of stochastic optimizers, and automates most steps of benchmarking. The library includes a wide and extensible set of ready-to-use realistic optimization problems, such as training Residual Networks for image classification on ImageNet or character-level language prediction models, as well as popular classics like MNIST and CIFAR-10. The package also provides realistic baseline results for the most popular optimizers on these test problems, ensuring a fair comparison to the competition when benchmarking new optimizers, and without having to run costly experiments. It comes with output back-ends that directly produce LaTeX code for inclusion in academic publications. It supports TensorFlow and is available open source.

研究动机与目标

• 解决深度学习优化器评估缺乏标准化、可复现协议的问题。
• 减少在与 SGD、Momentum 和 Adam 等成熟基线比较新优化器时的偏见和工作量。
• 提供一个通用的、真实的测试平台，包含多样化、接近生产环境的深度学习问题（例如，ImageNet 上的 ResNets，Tolstoy 文本上的 RNNs）。
• 自动化基准测试工作流，并直接输出可用于发表的 LaTeX 表格和图表。
• 通过报告多个指标（损失、准确率、速度、可调校性）在多次运行中的表现，提升优化器评估的公平性和透明度。

提出的方法

• 设计了一套基准测试协议，强调最终性能、收敛速度和可调校性作为关键指标。
• 实现了一个基于 TensorFlow 的 Python 软件包，封装了 8 个多样化且真实的深度学习任务，包括图像分类、自编码器和字符级 RNNs。
• 为所有任务提供了 SGD、Momentum 和 Adam 的预计算基线结果，无需重新运行基线。
• 自动化超参数搜索和多次随机运行，以评估鲁棒性并减少随机性偏差。
• 直接从基准测试结果生成可用于发表的 LaTeX 表格和图表。
• 支持可扩展性，允许研究人员轻松插入新的优化器和任务。

实验结果

研究问题

• RQ1 如何在多样化、真实的深度学习任务中，公平且可复现地比较深度学习优化器？
• RQ2 在优化器基准测试中，应报告哪些关键性能指标——最终性能、速度和可调校性？
• RQ3 标准优化器（SGD、Momentum、Adam）在不同深度学习问题上的表现如何，特别是在损失、准确率和收敛速度方面？
• RQ4 超参数敏感性（例如，学习率）在不同架构和数据集上在多大程度上影响优化器性能？
• RQ5 标准化、自动化的基准测试套件在在评估新优化方法时，能否减少偏见和工作量？

主要发现

• 如 Adam、SGD 和 Momentum 等优化器在不同任务上的表现存在显著差异，没有单一优化器在所有问题上均占优。
• Adam 在多个任务中始终表现出高测试准确率（例如，在 Wide ResNet 上对 SVHN 的准确率为 95.53%），但需要仔细调整学习率，最优值范围在 10⁻⁴ 到 10⁻³ 之间。
• SGD 和 Momentum 在某些任务上表现强劲（例如，在 SVHN 上准确率为 95.37%），但相比 Adam 需要更多迭代才能收敛。
• 基准测试表明，所有优化器的学习率敏感性相对较低，但最优值因任务而异——例如，P1 需要 α ≈ 0.0398，而 P8 需要 α ≈ 1.58。
• 该软件包的自动化基准测试和预计算基线减少了重新运行基线的需求，确保了评估的公平性并降低了偏见。
• 在多次运行中同时报告训练集和测试集的指标（损失和准确率），被证明是实现优化器性能真实且稳健评估的关键。