[论文解读] Deep Frank-Wolfe For Neural Network Optimization

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Nov 19, 2018

Stochastic Gradient Optimization Techniques参考文献 54被引用 16

一句话总结

本文提出深度弗兰克-沃尔夫（Deep Frank-Wolfe, DFW），一种用于深度神经网络的新优化算法，通过利用神经网络的复合结构，结合弗兰克-沃尔夫方法与闭式最优步长，实现了与SGD配合人工设计学习率调度相当的泛化性能——同时收敛更快，且仅需一个超参数。

ABSTRACT

Learning a deep neural network requires solving a challenging optimization problem: it is a high-dimensional, non-convex and non-smooth minimization problem with a large number of terms. The current practice in neural network optimization is to rely on the stochastic gradient descent (SGD) algorithm or its adaptive variants. However, SGD requires a hand-designed schedule for the learning rate. In addition, its adaptive variants tend to produce solutions that generalize less well on unseen data than SGD with a hand-designed schedule. We present an optimization method that offers empirically the best of both worlds: our algorithm yields good generalization performance while requiring only one hyper-parameter. Our approach is based on a composite proximal framework, which exploits the compositional nature of deep neural networks and can leverage powerful convex optimization algorithms by design. Specifically, we employ the Frank-Wolfe (FW) algorithm for SVM, which computes an optimal step-size in closed-form at each time-step. We further show that the descent direction is given by a simple backward pass in the network, yielding the same computational cost per iteration as SGD. We present experiments on the CIFAR and SNLI data sets, where we demonstrate the significant superiority of our method over Adam, Adagrad, as well as the recently proposed BPGrad and AMSGrad. Furthermore, we compare our algorithm to SGD with a hand-designed learning rate schedule, and show that it provides similar generalization while converging faster. The code is publicly available at https://github.com/oval-group/dfw.

研究动机与目标

• 解决SGD在深度神经网络中需要人工设计学习率调度的挑战。
• 克服自适应方法（如Adam）与SGD配合人工调度之间的泛化性能差距。
• 开发一种计算效率与SGD相当，同时提升收敛速度与泛化性能的方法。
• 利用深度网络的组合特性，通过弗兰克-沃尔夫方法实现高效的凸优化。
• 引入平滑方案与Nesterov加速，以稳定基于SVM目标的训练。

提出的方法

• 将深度学习优化问题形式化为复合（嵌套）优化任务，其中神经网络为内层函数，损失函数为外层函数。
• 在每次迭代中，线性化内层函数（神经网络）以形成近端子问题，同时保留外层损失函数的精确性。
• 当损失为合页损失时，每个子问题转化为线性SVM，从而可应用弗兰克-沃尔夫算法。
• 利用弗兰克-沃尔夫的对偶公式计算闭式最优步长，消除对学习率调度的依赖。
• 为SVM对偶问题引入平滑技术，以缓解深度网络训练中的数值不稳定性。
• 将Nesterov加速融入DFW框架，在不增加计算成本的前提下加速收敛。

实验结果

研究问题

• RQ1 能否设计一种一阶优化方法，使深度神经网络的泛化性能与SGD配合人工学习率调度相当？
• RQ2 能否通过利用神经网络的复合结构，将弗兰克-沃尔夫算法适配于深度学习？
• RQ3 通过弗兰克-沃尔夫方法以闭式计算最优步长，是否能实现更快收敛并降低超参数敏感性？
• RQ4 平滑技术能否稳定深度网络中SVM对偶优化的训练过程？
• RQ5 Nesterov加速的引入是否能在不损害泛化性能的前提下提升收敛速度？

主要发现

• 在CIFAR-10和CIFAR-100数据集上，DFW在宽残差网络与密集连接网络中实现了与SGD配合人工学习率调度相当的测试准确率，达到当前最优性能。
• 在SNLI数据集上使用Bi-LSTM模型，DFW达到85.21%的验证准确率，优于Adam（84.83%）、AMSGrad（84.70%）和BPGrad（84.73%），且在交叉验证下表现更优。
• 在所有CIFAR实验中，DFW的收敛速度显著快于Adam、Adagrad和AMSGrad，收敛曲线显示更快且更稳定的性能提升。
• 该算法仅需一个超参数（初始学习率），敏感性分析表明其在广泛取值范围内均表现稳健。
• 对SVM对偶问题的平滑处理提升了训练稳定性与泛化性能，尤其在更深的网络架构中效果显著。
• Nesterov加速在不降低泛化性能的前提下显著加快了收敛速度，且每轮迭代的计算成本与SGD保持一致。