[论文解读] Constrained Deep Learning using Conditional Gradient and Applications in Computer Vision

Sathya N. Ravi, Tuan Dinh+2 more|arXiv (Cornell University)|Mar 17, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 12

一句话总结

本文提出使用条件梯度（CG）算法在全局约束下训练深度神经网络，克服了随机梯度下降（SGD）在处理此类约束时的局限性。实验表明，该方法在泛化性能、训练速度（例如，GAN 训练中减少 50% 的训练轮次）和稳定性方面均有提升，尤其在路径范数正则化下表现更优，且对现有深度学习框架的修改极小。

ABSTRACT

A number of results have recently demonstrated the benefits of incorporating various constraints when training deep architectures in vision and machine learning. The advantages range from guarantees for statistical generalization to better accuracy to compression. But support for general constraints within widely used libraries remains scarce and their broader deployment within many applications that can benefit from them remains under-explored. Part of the reason is that Stochastic gradient descent (SGD), the workhorse for training deep neural networks, does not natively deal with constraints with global scope very well. In this paper, we revisit a classical first order scheme from numerical optimization, Conditional Gradients (CG), that has, thus far had limited applicability in training deep models. We show via rigorous analysis how various constraints can be naturally handled by modifications of this algorithm. We provide convergence guarantees and show a suite of immediate benefits that are possible -- from training ResNets with fewer layers but better accuracy simply by substituting in our version of CG to faster training of GANs with 50% fewer epochs in image inpainting applications to provably better generalization guarantees using efficiently implementable forms of recently proposed regularizers.

研究动机与目标

• 解决 Keras 和 TensorFlow 等深度学习库中缺乏对全局约束原生支持的问题。
• 克服 SGD 与全局约束之间的不兼容性，从而在深度模型中应用正则化和结构先验。
• 证明条件梯度（CG）算法能够高效处理深度学习训练中的多种约束，如路径范数、Frobenius 范数和稀疏性。
• 表明基于 CG 的训练相比标准 SGD 变体，在泛化性能、收敛速度和稳定性方面表现更优。
• 提供一种实用、即插即用的框架，可将约束轻松集成到现有深度学习流水线中，且实现开销极低。

提出的方法

• 将经典的条件梯度（Frank-Wolfe）算法适配于深度神经网络的随机、小批量训练。
• 提出 Path-CG，一种在模型权重上施加路径范数约束的变体，以提升泛化性能。
• 在 GAN 的判别器上施加 Frobenius 范数约束，以防止模式崩溃并加速训练。
• 采用线搜索策略，在每次迭代中保持约束的可行性，同时确保收敛性。
• 以最小的架构改动将 CG 框架集成到现有深度学习模型中，同时保留标准反向传播计算梯度。
• 利用条件梯度更新公式：w_{t+1} = w_t + au_t (v_t - w_t)，其中 v_t 是约束集上线性最小化预言机的解。

实验结果

研究问题

• RQ1 条件梯度方法能否有效处理深度学习中的全局约束（如路径范数和 Frobenius 范数），而 SGD 无法实现？
• RQ2 与使用相同约束的 SGD 相比，基于 CG 的训练是否能带来更好的泛化性能和更快的收敛速度？
• RQ3 CG 是否可用于更高效地训练 GAN，同时保持或提升图像质量？
• RQ4 在训练过程中，Path-CG 与 Path-SGD 相比，在稳定性和约束满足方面表现如何？
• RQ5 现有深度学习框架在多大程度上可通过 CG 扩展来支持约束，而无需大规模重构？

主要发现

• 在 MNIST、CIFAR-10、CIFAR-100 和 SVHN 数据集上，Path-CG 达到了与 Path-SGD 相同的测试准确率，同时将路径范数始终控制在约束阈值以下，表现出更优的稳定性。
• 在使用 DC-GAN 的图像修复任务中，CG 训练的模型在 50% 的训练轮次内即可达到与标准 SGD 训练模型相当或更优的图像质量。
• CG 框架可实现 GAN 的更快训练，降低计算成本，通过极少的超参数调优即可实现高质量的图像补全。
• 实验表明，Path-CG 有效正则化了路径范数，而 Path-SGD 无法控制该范数，导致其无界增长并引发泛化性能下降。
• 该方法可高效实现复杂正则化器（如低秩和稀疏性诱导约束），且对现有模型的代码修改极少。
• 该框架与标准深度学习库兼容，可实现近乎零开销的部署，表明其在视觉和机器学习任务中具有广泛适用性。