[论文解读] Trusting SVM for Piecewise Linear CNNs

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Nov 7, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用 8

一句话总结

本文提出了一种用于分段线性卷积神经网络（PL-CNNs）的新型逐层优化算法，将层参数估计重新表述为与潜在结构化SVM等价的凸差（DC）规划问题。通过应用凹-凸规划（CCCP）方法，并结合经过定制增强的块坐标Frank-Wolfe（BCFW）算法，该方法实现了无需学习率调优的单调收敛，在MNIST、CIFAR和ImageNet基准测试中性能优于最先进反向传播变体，且准确率更高、可扩展性更强。

ABSTRACT

We present a novel layerwise optimization algorithm for the learning objective of Piecewise-Linear Convolutional Neural Networks (PL-CNNs), a large class of convolutional neural networks. Specifically, PL-CNNs employ piecewise linear non-linearities such as the commonly used ReLU and max-pool, and an SVM classifier as the final layer. The key observation of our approach is that the problem corresponding to the parameter estimation of a layer can be formulated as a difference-of-convex (DC) program, which happens to be a latent structured SVM. We optimize the DC program using the concave-convex procedure, which requires us to iteratively solve a structured SVM problem. This allows to design an optimization algorithm with an optimal learning rate that does not require any tuning. Using the MNIST, CIFAR and ImageNet data sets, we show that our approach always improves over the state of the art variants of backpropagation and scales to large data and large network settings.

研究动机与目标

• 解决反向传播在深度学习中对学习率超参数敏感的问题。
• 为具有分段线性激活函数（如ReLU、最大池化）的广泛CNN类模型，开发一种更稳健且理论基础更扎实的优化框架。
• 利用结构化SVM与DC规划，实现PL-CNN的可扩展、逐层优化。
• 通过在对偶SVM优化中推导出解析最优步长，消除整体算法中对学习率调优的需求。
• 在ImageNet等大规模数据集上，通过标准架构展示可扩展性与性能提升。

提出的方法

• 将每个PL-CNN层的参数估计表述为凸差（DC）规划问题，该问题与潜在结构化SVM等价。
• 应用凹-凸规划（CCCP）方法，通过迭代求解一系列凸结构化SVM问题来求解DC规划。
• 使用块坐标Frank-Wolfe（BCFW）算法求解每个凸结构化SVM对偶问题，实现高效的条件梯度计算。
• 在BCFW中引入信赖域初始化，通过为全连接层设计高效的特征向量表示，提升收敛速度并降低内存使用。
• 在不损失准确率的前提下，显著减少结构化SVM问题中的约束数量，大幅降低时间复杂度。
• 在BCFW中采用解析计算的最优步长，从而消除整体算法中对学习率调优的需求。

实验结果

研究问题

• RQ1 是否可将PL-CNN的逐层优化表述为结构化SVM问题，以实现更鲁棒的训练？
• RQ2 采用CCCP与BCFW并辅以定制化增强后，是否能实现单调收敛，并在性能上超越反向传播？
• RQ3 所提方法是否可在无需学习率调优的前提下，扩展至VGG、Inception和ResNet等标准架构的大规模网络与数据集？
• RQ4 约束压缩与内存优化在多大程度上可提升深度学习中结构化SVM求解器的效率？
• RQ5 PL-CNN与潜在结构化SVM之间的联系是否可推广至标准架构（如VGG、Inception、ResNet）？

主要发现

• LW-SVM算法在ImageNet上使用VGG-16模型实现了73.81%的top-1准确率，较预训练模型（73.30%）提升了0.51%。
• 在CIFAR-10与CIFAR-100上，该方法持续优于最先进反向传播变体，展现出更优的泛化能力与鲁棒性。
• 该方法将VGG-16首个全连接层的BCFW内存使用从7,600GB降低至20GB，使标准硬件上训练成为可能。
• 算法在每一层均实现学习目标的单调下降与对偶SVM目标的单调上升，确保收敛稳定。
• 由于无需学习率调优且采用解析步长，该方法构建了鲁棒且高效的优化流水线。
• 该方法在大规模设置下表现出良好可扩展性，单张GPU在两天内完成ImageNet的五轮训练（每层）