[论文解读] Large Margin Deep Networks for Classification

Gamaleldin F. Elsayed, Dilip Krishnan+3 more|arXiv (Cornell University)|Mar 15, 2018

Adversarial Robustness in Machine Learning参考文献 29被引用 16

一句话总结

该论文提出了一种新颖的深度学习损失函数，通过使用任意 lp 范数（p ≥ 1）在任意选定层（输入层、隐藏层或输出层）强制实现大边缘，从而提升泛化能力、对标签噪声的鲁棒性以及对抗鲁棒性。该方法在 MNIST、CIFAR-10 和 ImageNet 上实现了最先进性能，在数据稀缺、标签噪声和对抗攻击场景下，其准确率优于标准交叉熵损失，尤其在 l1 和 l∞ 边缘约束下表现更优。

ABSTRACT

We present a formulation of deep learning that aims at producing a large margin classifier. The notion of margin, minimum distance to a decision boundary, has served as the foundation of several theoretically profound and empirically successful results for both classification and regression tasks. However, most large margin algorithms are applicable only to shallow models with a preset feature representation; and conventional margin methods for neural networks only enforce margin at the output layer. Such methods are therefore not well suited for deep networks. In this work, we propose a novel loss function to impose a margin on any chosen set of layers of a deep network (including input and hidden layers). Our formulation allows choosing any norm on the metric measuring the margin. We demonstrate that the decision boundary obtained by our loss has nice properties compared to standard classification loss functions. Specifically, we show improved empirical results on the MNIST, CIFAR-10 and ImageNet datasets on multiple tasks: generalization from small training sets, corrupted labels, and robustness against adversarial perturbations. The resulting loss is general and complementary to existing data augmentation (such as random/adversarial input transform) and regularization techniques (such as weight decay, dropout, and batch norm).

研究动机与目标

• 开发一种深度学习训练方法，可在神经网络的任意层（而不仅输出层）强制实现大边缘。
• 通过基于边缘的正则化，提升在数据稀缺和标签噪声下的泛化能力。
• 通过在输入空间或隐藏空间显式强制边缘，增强对对抗扰动的鲁棒性。
• 设计一种灵活、与网络架构无关的损失函数，可与批量归一化、Dropout 和数据增强等标准深度学习技术兼容。

提出的方法

• 提出边缘的一阶近似，使其在深度网络中可微分且可训练。
• 基于每个训练样本到输入层或隐藏层空间中决策边界的距离，使用 lp 范数（p ≥ 1）定义边缘。
• 将边缘损失应用于任意选定的层集合——输入层、隐藏层或输出层，实现多层边缘强制。
• 使用边缘的可微分近似，使训练过程中可通过网络反向传播。
• 将大边缘损失与标准正则化技术（如权重衰减、Dropout、批量归一化）及数据增强相结合。
• 在边缘值上进行超参数搜索，以在每个数据集和任务上优化性能。

实验结果

研究问题

• RQ1 在隐藏层强制大边缘是否能提升深度网络的泛化能力？
• RQ2 在输入空间中强制边缘是否能增强对对抗扰动的鲁棒性？
• RQ3 lp 范数（l1、l2、l∞）的选择如何影响不同数据集和任务下的模型性能？
• RQ4 基于边缘的训练能否与现有正则化和数据增强技术共存并互补？
• RQ5 在标签噪声和训练数据有限的情况下，大边缘训练是否能提升性能？

主要发现

• 在 CIFAR-10 上使用 80% 的噪声标签时，l∞ 和 l2 边缘模型的性能比交叉熵高出 4% 至 10%。
• 仅使用 1% 的训练数据时，l1 边缘模型的准确率比交叉熵高出 2.5%。
• 在 ϵ=0.1 的白盒 FGSM 攻击下，l1 边缘模型在 ImageNet 上的 top-1 准确率为 44%，而交叉熵仅为 33%。
• 在 ϵ=0.1 的黑盒 IFGSM 攻击下，边缘模型在 ImageNet 上的准确率为 59%，而交叉熵仅为 33%。
• 在 SNR=33 条件下，l1 边缘模型在 ImageNet 上达到 82% 的准确率，相比之前工作提升了 18.7% 的相对性能。
• 该方法在 ImageNet 上的每步训练成本仅比交叉熵高出 1.6 倍，具有良好的计算实用性。