[论文解读] Do optimization methods in deep learning applications matter?

Buse Melis Özyıldırım, Mariam Kiran|arXiv (Cornell University)|Feb 28, 2020

Advanced Neural Network Applications参考文献 19被引用 5

一句话总结

本文评估了在图像分类（CIFAR、MNIST）和强化学习（CartPole、FlappyBird）应用中的一阶和二阶优化方法——SGD、CG、L-BFGS 和 Levenberg-Marquardt (LM)。尽管 LM 实现了最佳收敛性能，但其因批量处理和缺乏小批量支持而导致计算成本过高；SGD 和 CG 虽训练更快，但收敛性能较差，凸显了速度与精度之间的权衡。

ABSTRACT

With advances in deep learning, exponential data growth and increasing model complexity, developing efficient optimization methods are attracting much research attention. Several implementations favor the use of Conjugate Gradient (CG) and Stochastic Gradient Descent (SGD) as being practical and elegant solutions to achieve quick convergence, however, these optimization processes also present many limitations in learning across deep learning applications. Recent research is exploring higher-order optimization functions as better approaches, but these present very complex computational challenges for practical use. Comparing first and higher-order optimization functions, in this paper, our experiments reveal that Levemberg-Marquardt (LM) significantly supersedes optimal convergence but suffers from very large processing time increasing the training complexity of both, classification and reinforcement learning problems. Our experiments compare off-the-shelf optimization functions(CG, SGD, LM and L-BFGS) in standard CIFAR, MNIST, CartPole and FlappyBird experiments.The paper presents arguments on which optimization functions to use and further, which functions would benefit from parallelization efforts to improve pretraining time and learning rate convergence.

研究动机与目标

• 评估一阶和二阶优化方法在深度学习应用中的性能。
• 识别不同优化函数在收敛速度、计算成本和模型精度之间的权衡。
• 研究并行化优化算法的可行性和优势，特别是针对 LM 和 L-BFGS 等高阶方法。
• 根据损失函数类型和数据规模，确定最适合分类和强化学习任务的优化器。
• 分析线搜索算法和批量处理限制对优化器效率和收敛性的影响。

提出的方法

• 在四个基准数据集上进行实验：MNIST 和 CIFAR 用于图像分类，CartPole 和 FlappyBird 用于强化学习。
• 在相同超参数设置下，对比四种优化函数：随机梯度下降（SGD）、共轭梯度（CG）、L-BFGS 和 Levenberg-Marquardt（LM）。
• 通过损失函数降低、训练时间和预测精度等多个运行周期来衡量收敛性。
• 评估线搜索在 L-BFGS 中的作用及其对收敛性和计算成本的影响。
• 分析 LM 的计算负担，其需一次性处理所有样本，无法使用小批量。
• 探索在梯度计算（LM）和线搜索（L-BFGS）中实现并行化的可能性，以减少训练时间。

实验结果

研究问题

• RQ1 在一阶（SGD、CG）和二阶（L-BFGS、LM）优化方法中，它们在图像分类和强化学习任务中的收敛速度和精度表现如何比较？
• RQ2 批量大小和小批量处理对不同优化器性能和可行性的影响如何，特别是对 LM 的影响？
• RQ3 L-BFGS 中的线搜索算法如何影响收敛性和计算成本，是否可通过并行化进行优化？
• RQ4 在何种场景下，LM 尽管计算成本高昂，仍能优于其他优化器？
• RQ5 哪些优化方法最适于并行化，以及这如何提升大规模深度学习中的训练效率？

主要发现

• Levenberg-Marquardt (LM) 在图像分类和强化学习任务中均实现了最佳收敛性能，显著优于 SGD 和 CG。
• 尽管收敛性能优越，LM 因必须一次性处理所有训练样本而导致计算时间极长，使其在大规模数据上不可行。
• SGD 和 CG 提供了更快的训练速度，但收敛性能劣于 LM，其中 CG 的表现接近 SGD。
• L-BFGS 的收敛性能低于 LM 但优于 SGD 和 CG，尤其当线搜索算法限制为 10 次迭代时，表明其对线搜索配置较为敏感。
• LM 无法使用小批量，因其按样本独立计算梯度，限制了其在小型紧凑模型和基于回归问题中的应用。
• LM 的梯度计算和 L-BFGS 的线搜索若实现并行化，可显著缩短训练时间，表明二阶方法在分布式优化中具有高度潜力。