[论文解读] Capacity Control of ReLU Neural Networks by Basis-path Norm

Shuxin Zheng, Qi Meng+4 more|arXiv (Cornell University)|Sep 19, 2018

Machine Learning and ELM参考文献 25被引用 5

一句话总结

本文提出了基础路径范数（BP范数），一种用于ReLU神经网络的新容量度量方法，通过使用一组线性无关的基础路径而非所有路径来量化模型复杂度。通过在损失函数中正则化该范数，所提出的基于基础路径的正则化（BPR）方法在图像分类和推荐任务中显著提升了泛化性能，优于标准权重衰减和基于路径范数的方法。

ABSTRACT

Recently, path norm was proposed as a new capacity measure for neural networks with Rectified Linear Unit (ReLU) activation function, which takes the rescaling-invariant property of ReLU into account. It has been shown that the generalization error bound in terms of the path norm explains the empirical generalization behaviors of the ReLU neural networks better than that of other capacity measures. Moreover, optimization algorithms which take path norm as the regularization term to the loss function, like Path-SGD, have been shown to achieve better generalization performance. However, the path norm counts the values of all paths, and hence the capacity measure based on path norm could be improperly influenced by the dependency among different paths. It is also known that each path of a ReLU network can be represented by a small group of linearly independent basis paths with multiplication and division operation, which indicates that the generalization behavior of the network only depends on only a few basis paths. Motivated by this, we propose a new norm \emph{Basis-path Norm} based on a group of linearly independent paths to measure the capacity of neural networks more accurately. We establish a generalization error bound based on this basis path norm, and show it explains the generalization behaviors of ReLU networks more accurately than previous capacity measures via extensive experiments. In addition, we develop optimization algorithms which minimize the empirical risk regularized by the basis-path norm. Our experiments on benchmark datasets demonstrate that the proposed regularization method achieves clearly better performance on the test set than the previous regularization approaches.

研究动机与目标

• 为解决路径范数在衡量ReLU网络容量时因路径依赖性而存在的局限性。
• 通过聚焦于一组最小的线性无关基础路径，构建更精确的容量度量。
• 基于基础路径范数建立泛化误差界，更准确地反映经验泛化差距。
• 设计一种新型正则化方法——基于基础路径的正则化（BPR），以提升测试性能。
• 在多种架构和数据集上验证BPR的有效性，包括ResNet和基于MLP的推荐系统。

提出的方法

• 本文将基础路径定义为一组最小的线性无关路径，可通过乘法和除法运算表示所有其他路径。
• 根据路径表示中系数的正负性，将基础路径划分为正向和负向两类。
• 构建基础路径范数，以控制正向和负向基础路径的大小，从而确保所有派生路径的值均较小。
• 证明了基于基础路径范数的泛化误差界，该界能比标准路径范数更准确地反映路径依赖性。
• 所提出的基于基础路径的正则化（BPR）方法在经验风险中加入BP范数作为惩罚项，并通过网格搜索进行超参数调优。
• 在图像分类（CIFAR-10数据集上的ResNet和PlainNet）和推荐任务（MovieLens）上评估该方法，使用HR@10、NDCG@10和测试误差率等标准指标。

实验结果

研究问题

• RQ1 基于基础路径的容量度量是否比标准路径范数更能反映经验泛化差距？
• RQ2 基于基础路径范数的正则化是否能在不同网络架构和数据集上提升泛化性能？
• RQ3 随着网络深度和宽度的增加，基础路径范数界与其他容量度量相比，在捕捉泛化行为方面表现如何？
• RQ4 将基础路径正则化与SGD或Q-SGD等优化算法结合，是否能获得比标准权重衰减或Path-SGD更高的测试准确率？
• RQ5 BPR带来的泛化性能提升是否在不同标签随机性和模型复杂度水平下保持一致？

主要发现

• 在PlainNet34上，BPR相比使用权重衰减的标准SGD，测试误差率绝对降低1.8%；在ResNet34上，降低1.5%。
• 在MovieLens推荐数据集上，BPR在所有预测因子设置下，HR@10和NDCG@10指标上均持续优于所有基线方法。
• 基于基础路径范数的泛化误差界在不同网络深度和宽度下均与经验泛化差距保持一致，而路径范数界在模型规模增大时性能下降。
• Q-SGD与基础路径正则化的结合在ResNet34和PlainNet34上均取得了最佳测试准确率，ResNet34的测试误差率为5.33%，优于基线的7.12%。
• 使用BPR训练时，即使训练损失与测试损失相近，优化过程中仍能保持训练与测试误差之间的稳定差距，表明其能更早收敛到泛化性能更优的点。
• 基础路径范数能有效控制路径依赖性，如在更深更宽的网络中，理论界与经验泛化差距的拟合程度得到显著改善。