[论文解读] Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning

Yu Kobayashi, Hideaki Iiduka|arXiv (Cornell University)|Feb 29, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用 5

一句话总结

该论文提出了一种基于共轭梯度的Adam（CoBA），这是一种新颖的自适应随机优化算法，通过将非线性共轭梯度方法与AMSGrad相结合，以提升深度学习中的收敛性和训练效率。实验结果表明，CoBA在文本和图像分类任务中，相较于Adam、AMSGrad、RMSProp和AdaGrad，能在更少的训练轮次中实现更低的损失。

ABSTRACT

This paper proposes a conjugate-gradient-based Adam algorithm blending Adam with nonlinear conjugate gradient methods and shows its convergence analysis. Numerical experiments on text classification and image classification show that the proposed algorithm can train deep neural network models in fewer epochs than the existing adaptive stochastic optimization algorithms can.

研究动机与目标

• 解决Adam及其变体在深度学习的随机优化问题中难以收敛到最优解的局限性。
• 通过结合自适应梯度方法与共轭梯度技术，提升深度神经网络的训练效率和收敛速度。
• 开发一种理论基础坚实的优化算法，保持自适应学习率的优势，同时提升搜索方向的质量。
• 在真实世界的深度学习任务（如文本和图像分类）中，验证所提方法的优越性能。

提出的方法

• 将非线性共轭梯度（CG）搜索方向集成到AMSGrad框架中，以替代标准的基于梯度的更新。
• 使用共轭梯度公式（如Polak-Ribière-Polyak）计算自适应搜索方向，以融合历史梯度信息。
• 像AMSGrad一样，保持梯度和平方梯度的指数移动平均，但通过基于CG的向量修改更新方向。
• 在马氏距离范数下应用投影步骤，以确保在有界可行集内收敛。
• 采用带有回溯的线搜索策略，以确保每次迭代中目标函数充分下降。
• 理论分析表明，在标准假设下，CoBA的收敛速率与AMSGrad相当。

实验结果

研究问题

• RQ1 共轭梯度方向是否能提升自适应随机优化算法在深度学习中的收敛性和泛化性能？
• RQ2 将CG与AMSGrad结合是否能实现比Adam及其变体更快的收敛速度和更低的训练损失？
• RQ3 所提出的CoBA算法在随机优化设置下是否理论上保证收敛到最优解？
• RQ4 CoBA在标准深度学习基准（如用于文本分类的LSTM和用于图像分类的ResNet）上的实际表现如何？
• RQ5 共轭梯度机制是否能减少达到相当或更优模型性能所需的训练轮次？

主要发现

• CoBA在文本和图像分类任务中，均实现了比Adam、AMSGrad、RMSProp和AdaGrad更低的训练损失。
• 所提算法相比现有自适应方法，收敛所需轮次更少，展现出更高的训练效率。
• 数值实验表明，CoBA在多个深度学习模型上，比基线算法更有效地减少了损失函数的总和。
• 理论分析证实，CoBA保持了与AMSGrad相当的收敛速率，确保了鲁棒性和稳定性。
• 共轭梯度方向的集成带来了更优的搜索方向选择，加速了收敛，且未增加内存开销。
• 实证结果验证了CoBA在最小化深度神经网络训练中的经验风险目标方面，优于现有方法。