[论文解读] L2-NONEXPANSIVE NEURAL NETWORKS

Haifeng Qian, Mark N. Wegman|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications被引用 26

一句话总结

本文通过在训练过程中采用范数池化（norm-pooling）、双向 ReLU（two-sided ReLU）以及置信度差距最大化（confidence gap maximization），提出了一种 L2-非扩张神经网络（L2-nonexpansive neural networks），以确保网络输出不会扩大 L2 距离。其主要贡献是一种理论基础坚实的训练方法，通过非扩张性质增强了模型的鲁棒性与泛化能力，经由在对抗样本和分布外样本上性能的提升得到验证。

ABSTRACT

A training method, system, and computer program product include training a neural network including at least one of using norm-pooling as a non-linear function, using a two-sided ReLU as a non-linear function, and increasing a confidence gap and further training such that the network comprises a non-expansive network.

研究动机与目标

• 开发一种训练方法，确保神经网络在 L2 范数下具有非扩张性，从而提升对对抗样本和分布偏移的鲁棒性。
• 解决标准深度网络在输入扰动下输出稳定性方面缺乏理论保证的问题。
• 通过增大正确与错误预测之间的置信度差距，提升模型置信度与泛化能力。
• 探索范数池化与双向 ReLU 作为非线性函数，用于保持或减小 L2 距离的潜力。
• 提供一种训练框架，确保在标准数据与分布外数据上均能保持或提升性能。

提出的方法

• 使用范数池化作为非线性激活函数，通过在通道或特征维度上聚合范数，以约束特征空间的扩展。
• 采用双向 ReLU 激活函数，允许负值通过，从而保留方向信息并减少 L2 范数的增长。
• 通过优化正确与错误类别得分之间的更大间隔，在训练过程中增大置信度差距。
• 通过迭代微调来强制实现非扩张性，确保网络输出的 L2 范数不超过输入的 L2 范数。
• 将上述组件整合为统一的训练流程，确保在网络各层中保持非扩张行为。
• 使用包含标准交叉熵损失与促进 L2 非扩张性的正则化项的损失函数进行网络训练。

实验结果

研究问题

• RQ1 范数池化与双向 ReLU 是否可用于构建在 L2 范数下可证明为非扩张的神经网络？
• RQ2 在训练过程中增大置信度差距是否能提升深度网络的泛化能力与鲁棒性？
• RQ3 强制实现 L2 非扩张性在对抗样本与分布外样本上的性能提升程度如何？
• RQ4 范数池化、双向 ReLU 与置信度差距最大化三者结合对模型稳定性与准确率的影响如何？
• RQ5 是否可以在不牺牲标准基准性能的前提下，实现非扩张性训练流程？

主要发现

• 所提出的方法成功构建了在 L2 范数下具有非扩张性的神经网络，确保输入扰动在输出空间中不会被放大。
• 使用范数池化与双向 ReLU 降低了特征空间爆炸的风险，有助于实现更稳定的训练动态。
• 增大置信度差距显著提升了泛化能力，尤其在分布外样本与对抗样本上表现更优。
• 该训练流程在保持标准基准上竞争力的同时，显著提升了模型的鲁棒性。
• 非扩张性质在多层网络中得以保持，从而实现了对表征学习的更好控制。
• 实验结果表明，该方法在分布偏移下的鲁棒性方面优于基于标准 ReLU 的网络。