[论文解读] Pay attention to your loss: understanding misconceptions about 1-Lipschitz neural networks

Louis Béthune, Thibaut Boissin+4 more|arXiv (Cornell University)|Apr 11, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文挑战了1-利普希茨神经网络（LipNet1）不如无约束网络（AllNet）表达能力强或准确度低的误解。研究表明，通过仔细调整损失超参数，特别是温度调度，LipNet1网络在CIFAR-100上使用随机标签时达到SOTA准确率（99.96%），在分类任务中与AllNet性能相当，并具备可证明的鲁棒性和泛化优势。

ABSTRACT

Lipschitz constrained networks have gathered considerable attention in the deep learning community, with usages ranging from Wasserstein distance estimation to the training of certifiably robust classifiers. However they remain commonly considered as less accurate, and their properties in learning are still not fully understood. In this paper we clarify the matter: when it comes to classification 1-Lipschitz neural networks enjoy several advantages over their unconstrained counterpart. First, we show that these networks are as accurate as classical ones, and can fit arbitrarily difficult boundaries. Then, relying on a robustness metric that reflects operational needs we characterize the most robust classifier: the WGAN discriminator. Next, we show that 1-Lipschitz neural networks generalize well under milder assumptions. Finally, we show that hyper-parameters of the loss are crucial for controlling the accuracy-robustness trade-off. We conclude that they exhibit appealing properties to pave the way toward provably accurate, and provably robust neural networks.

研究动机与目标

• 消除人们普遍认为1-利普希茨神经网络表达能力或准确度低于无约束网络的误解。
• 通过一种新颖的鲁棒性度量，刻画1-利普希茨网络中准确率与鲁棒性之间的权衡。
• 为1-利普希茨网络建立理论泛化保证，包括与网络架构大小无关的PAC可学习性。
• 证明损失函数的超参数——特别是温度——控制着准确率与鲁棒性之间的权衡。
• 表明LipNet1网络可实现任意复杂的决策边界，并且是一致估计器。

提出的方法

• 作者对二分类任务中利普希茨约束的理论分析表明，任意AllNet分类器均可通过缩放转化为具有相同决策边界的1-利普希茨等价形式。
• 他们提出一种基于平均可认证鲁棒性（MCR）的鲁棒性度量，用于评估在1-利普希茨约束下的对抗鲁棒性。
• 该方法在训练过程中采用温度调度的损失函数，其中温度控制着准确率与鲁棒性之间的权衡。
• 他们证明1-利普希茨网络是一致估计器：随着数据集规模增大，训练损失收敛至测试损失。
• 他们建立了基于间隔的1-利普希茨分类器的PAC可学习性，其泛化界与网络宽度无关。
• 在CIFAR-100和Fashion-MNIST上通过实验验证，采用残差网络结构，结合权重归一化和谱归一化以强制实现1-利普希茨约束。

实验结果

研究问题

• RQ1 1-利普希茨神经网络是否能在分类任务中达到与无约束网络相同的准确率？
• RQ2 1-利普希茨网络中准确率与鲁棒性之间的最优权衡是什么？哪种网络架构能实现该权衡？
• RQ3 在较弱假设下，1-利普希茨网络是否比无约束网络泛化得更好？
• RQ4 损失函数的超参数（尤其是温度）如何影响准确率-鲁棒性权衡？
• RQ5 1-利普希茨网络的泛化性和鲁棒性是否存在理论基础？

主要发现

• 1-利普希茨神经网络在CIFAR-100上使用随机标签时可达到99.96%的准确率，表明其表达能力并不弱于无约束网络。
• 最高准确率的1-利普希茨分类器对应于符号距离函数，而最鲁棒的分类器是WGAN判别器，其最大化可认证鲁棒性。
• 准确率-鲁棒性权衡仅由最终的温度超参数τ控制，与网络初始化或训练调度无关。
• 更大的网络架构使帕累托前沿向更高准确率和更高鲁棒性移动，证实表达能力随宽度增加而增强。
• LipNet1网络是一致估计器：随着训练集规模增大，其训练损失收敛至测试损失。
• 基于间隔的1-利普希茨分类器是PAC可学习的，其泛化界与网络规模无关，从而可在不发生过拟合的情况下训练极宽网络。