[论文解读] Measuring Model Complexity of Neural Networks with Curve Activation Functions

Xia Hu, Weiqing Liu+2 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 4

一句话总结

本文通过引入一种称为 LANN 的分段线性逼近框架，提出了一种针对具有曲线激活函数的深度神经网络的复杂度度量方法，该方法在保持近似精度的同时最小化线性区域数量。该方法揭示了模型复杂度上升与过拟合之间的强烈正相关关系，从而提出了有效的正则化策略，如神经元剪枝和定制化的 L1 正则化，以抑制复杂度并提升泛化能力。

ABSTRACT

It is fundamental to measure model complexity of deep neural networks. The existing literature on model complexity mainly focuses on neural networks with piecewise linear activation functions. Model complexity of neural networks with general curve activation functions remains an open problem. To tackle the challenge, in this paper, we first propose the linear approximation neural network (LANN for short), a piecewise linear framework to approximate a given deep model with curve activation function. LANN constructs individual piecewise linear approximation for the activation function of each neuron, and minimizes the number of linear regions to satisfy a required approximation degree. Then, we analyze the upper bound of the number of linear regions formed by LANNs, and derive the complexity measure based on the upper bound. To examine the usefulness of the complexity measure, we experimentally explore the training process of neural networks and detect overfitting. Our results demonstrate that the occurrence of overfitting is positively correlated with the increase of model complexity during training. We find that the $L^1$ and $L^2$ regularizations suppress the increase of model complexity. Finally, we propose two approaches to prevent overfitting by directly constraining model complexity, namely neuron pruning and customized $L^1$ regularization.

研究动机与目标

• 为解决具有曲线激活函数（如 Sigmoid 和 Tanh）的深度神经网络中模型复杂度度量这一开放性问题。
• 开发一种分段线性逼近框架，能够准确表示具有曲线激活函数的模型，同时最小化线性区域的数量。
• 基于逼近中线性区域数量的上界，建立一个复杂度度量方法，以支持对模型非线性的分析。
• 通过实验验证训练过程中模型复杂度增加与过拟合之间的关联性。
• 提出并评估直接控制复杂度的正则化技术——神经元剪枝和定制化 L1 正则化，以提升泛化性能。

提出的方法

• 引入线性逼近神经网络（LANN），该框架将每个神经元的曲线激活函数近似为分段线性函数。
• 优化逼近过程，以在满足用户定义的近似误差阈值的前提下，最小化线性区域的数量。
• 推导出 LANN 所形成线性区域数量的上界，该上界即作为模型复杂度的度量。
• 利用该复杂度度量分析训练动态，并将复杂度增长与过拟合相关联。
• 提出基于激活函数导数的期望绝对值的神经元剪枝方法，以抑制非线性区域。
• 设计定制化 L1 正则化，其中每个神经元的权重惩罚与其激活函数导数的期望绝对值成正比。

实验结果

研究问题

• RQ1 在现有方法仅关注分段线性激活函数的前提下，如何对具有曲线激活函数的深度神经网络中的模型复杂度进行有意义的度量？
• RQ2 模型复杂度在训练过程中增加的程度如何？这种增加是否与过拟合相关？
• RQ3 L1 和 L2 正则化在所提出的度量指标下，能否有效抑制模型复杂度的增长？
• RQ4 通过神经元剪枝和定制化 L1 正则化实现的直接复杂度控制，是否能在保持模型性能的同时防止过拟合？

主要发现

• 所提出的复杂度度量方法，基于 LANN 近似中线性区域数量的上界，能够有效捕捉具有曲线激活函数模型的非线性特性。
• 在 CIFAR 和 MOON 数据集上的实验表明，训练过程中模型复杂度的增加与过拟合的出现之间存在强烈的正相关关系。
• L1 和 L2 正则化均能有效抑制模型复杂度的上升，其中 L1 正则化的效果更为显著。
• 基于激活函数导数期望绝对值的神经元剪枝方法，能有效限制复杂度增长，并在性能损失最小的情况下防止过拟合。
• 定制化 L1 正则化（对激活分布更线性的神经元施加更高的惩罚权重）优于标准 L1 正则化，尤其在高惩罚设置下表现更优。
• 在 MOON 数据集上，采用神经元剪枝（PR）和定制化 L1（C-L1）训练的模型，其复杂度度量分别为 25.02 和 25.11，线性区域数量分别为 182 和 356，显著低于标准 L1（382 个区域）和 L2（545 个区域），同时保持了优异的性能。