[论文解读] Branch-and-Pruning Optimization Towards Global Optimality in Deep Learning.

Yuanwei Wu, Ziming Zhang+1 more|arXiv (Cornell University)|Apr 5, 2021

Stochastic Gradient Optimization Techniques参考文献 64被引用 4

一句话总结

本文提出 BPGrad，一种新颖的分支-剪枝优化算法，通过利用利普希茨连续性自适应设定步长，实现在深度学习中的全局最优。通过迭代地通过分支和剪枝精炼搜索区域，BPGrad 在有限次迭代内保证收敛至全局最优，并在图像识别、检测和分割任务中实证性能优于 Adam、Adagrad、Adadelta 和 RMSProp。

ABSTRACT

It has been attracting more and more attention to understand the global optimality in deep learning (DL) recently. However, conventional DL solvers, have not been developed intentionally to seek for such global optimality. In this paper, we propose a novel approximation algorithm, {\em BPGrad}, towards optimizing deep models globally via branch and pruning. The proposed BPGrad algorithm is based on the assumption of Lipschitz continuity in DL, and as a result, it can adaptively determine the step size for the current gradient given the history of previous updates, wherein theoretically no smaller steps can achieve the global optimality. We prove that, by repeating such a branch-and-pruning procedure, we can locate the global optimality within finite iterations. Empirically an efficient adaptive solver based on BPGrad for DL is proposed as well, and it outperforms conventional DL solvers such as Adagrad, Adadelta, RMSProp, and Adam in the tasks of object recognition, detection, and segmentation. The code is available at \url{this https URL}.

研究动机与目标

• 解决传统深度学习求解器缺乏全局最优性保证的问题。
• 开发一种系统性地寻找全局最小值而非满足于局部最小值的优化框架。
• 通过分支-剪枝策略，理论上和实证上证明在有限次迭代内收敛至全局最优。
• 在下游视觉任务中超越标准自适应优化器（如 Adam、Adagrad、Adadelta 和 RMSProp）的性能。

提出的方法

• 该方法基于深度神经网络中利普希茨连续性的假设，以限制梯度变化的范围。
• 通过历史更新自适应确定步长，确保不会存在更小的步长能实现全局最优。
• 通过迭代应用分支-剪枝机制，逐步缩小围绕全局最优的搜索空间。
• 在利普希茨假设下，该算法保持了对全局最小值有限收敛的理论保证。
• 从 BPGrad 衍生出一种高效的自适应求解器，适用于深度学习中的实际部署。
• 通过剪枝剔除次优区域，动态地精炼候选区域。

实验结果

研究问题

• RQ1 在合理假设下，深度学习优化算法能否保证收敛至全局最优？
• RQ2 如何形式化自适应步长选择，以确保全局最优性，同时避免使用过小的步长？
• RQ3 在非凸深度学习损失曲面中，分支-剪枝策略的理论收敛行为如何？
• RQ4 在实践中，所提出的 BPGrad 方法与标准自适应优化器（如 Adam 和 RMSProp）相比表现如何？
• RQ5 该分支-剪枝框架能否高效地应用于大规模深度学习模型？

主要发现

• 在利普希茨连续性假设下，BPGrad 保证在有限次迭代内收敛至全局最优。
• 自适应步长机制通过防止次优下降方向，确保了理论最优性。
• 基于 BPGrad 的实证求解器在图像识别、检测和分割基准上实现了卓越性能。
• 在所有评估的视觉任务中，BPGrad 均优于包括 Adam、Adagrad、Adadelta 和 RMSProp 在内的标准优化器。
• 该方法在保持理论严谨性的同时，通过高效的自适应实现支持了实际部署。
• BPGrad 的代码已公开，支持可复现性与进一步研究。