[论文解读] Approximating Lipschitz continuous functions with GroupSort neural networks

Ugo Tanielian, Maxime Sangnier+1 more|arXiv (Cornell University)|Jun 9, 2020

Adversarial Robustness in Machine Learning参考文献 2被引用 8

一句话总结

该论文表明，具有权重约束的GroupSort神经网络能够精确表示任意Lipschitz连续的分段线性函数，并高效逼近一般的1-Lipschitz连续函数，相较于标准ReLU网络展现出更优的鲁棒性和表达能力。论文建立了深度和规模的理论上限，并表明增大分组大小可提升表达能力，该结论通过函数逼近和Wasserstein距离估计的合成实验得到验证。

ABSTRACT

Recent advances in adversarial attacks and Wasserstein GANs have advocated for use of neural networks with restricted Lipschitz constants. Motivated by these observations, we study the recently introduced GroupSort neural networks, with constraints on the weights, and make a theoretical step towards a better understanding of their expressive power. We show in particular how these networks can represent any Lipschitz continuous piecewise linear functions. We also prove that they are well-suited for approximating Lipschitz continuous functions and exhibit upper bounds on both the depth and size. To conclude, the efficiency of GroupSort networks compared with more standard ReLU networks is illustrated in a set of synthetic experiments.

研究动机与目标

• 理解在权重约束下GroupSort神经网络对Lipschitz连续函数的表达能力。
• 建立表示1-Lipschitz连续分段线性函数所需的深度和规模的理论上限。
• 研究增大分组大小如何提升GroupSort网络的表达能力。
• 在函数回归和Wasserstein距离近似任务中，对GroupSort网络与ReLU网络进行实证比较。
• 证明GroupSort网络在保持有界Lipschitz常数的同时维持高性能，从而增强对对抗攻击的鲁棒性。

提出的方法

• 作者采用GroupSort激活函数，对预激活值在预定义的神经元组内进行排序，从而更好地控制网络的Lipschitz常数。
• 对权重矩阵施加约束，以确保整个网络保持1-Lipschitz连续。
• 通过理论分析推导出表示任意1-Lipschitz分段线性函数所需的GroupSort网络深度和规模的上界。
• 该框架可扩展至在紧集上逼近一般的1-Lipschitz连续函数，且逼近误差的上界与网络深度和宽度相关。
• 研究表明，网络中线性区域的数量随分组大小的增加而显著增长，从而提升表达能力。
• 通过合成实验对GroupSort网络与ReLU网络在回归和Wasserstein距离估计任务中进行实证验证，涵盖噪声和无噪声两种情形。

实验结果

研究问题

• RQ1 具有权重约束的GroupSort神经网络能否精确表示任意Lipschitz连续的分段线性函数？
• RQ2 表示1-Lipschitz分段线性函数所需的GroupSort网络在深度和规模上的理论上限是什么？
• RQ3 增大分组大小如何影响GroupSort网络的表达能力及其线性区域数量？
• RQ4 在噪声和无噪声条件下，GroupSort网络与标准ReLU网络在逼近1-Lipschitz函数方面表现如何比较？
• RQ5 GroupSort网络是否能在保持有界Lipschitz常数的同时，在Wasserstein距离估计中表现优于ReLU网络？

主要发现

• 具有权重约束的GroupSort网络能够精确表示任意1-Lipschitz连续的分段线性函数，且深度和规模具有可证明的上界。
• 增大分组大小可显著增加线性区域的数量，从而提升网络的表达能力。
• 在无噪声回归设置中，无约束的ReLU网络在一致范数下略优于GroupSort网络，但其Lipschitz常数超过1。
• 在有噪声设置中，无约束的ReLU网络出现过拟合并表现出较高的Lipschitz常数（约2.7），导致泛化性能差，而GroupSort网络保持了稳健的性能。
• 在无噪声和有噪声的回归任务中，GroupSort网络的表现优于正交化ReLU网络，且Lipschitz常数更稳定。
• 在Wasserstein距离近似任务中，GroupSort网络优于ReLU网络，表明其在需要有界Lipschitz函数的GAN应用中具有适用性。