[论文解读] Function Norms and Regularization in Deep Networks

Amal Rannen Triki, Maxim Berman+1 more|arXiv (Cornell University)|Oct 18, 2017

Neural Networks and Applications参考文献 41被引用 5

一句话总结

该论文提出了一种用于深度神经网络的加权函数范数随机逼近正则化方法，以应对直接惩罚函数复杂度的挑战。证明了在ReLU网络中计算函数范数是NP难问题，从而为近似方法提供了理论依据，并通过实证结果表明，该方法在图像分类和分割任务中优于权重衰减、Dropout和批量归一化等方法，提升了泛化性能。

ABSTRACT

Deep neural networks (DNNs) have become increasingly important due to their excellent empirical performance on a wide range of problems. However, regularization is generally achieved by indirect means, largely due to the complex set of functions defined by a network and the difficulty in measuring function complexity. There exists no method in the literature for additive regularization based on a norm of the function, as is classically considered in statistical learning theory. In this work, we propose sampling-based approximations to weighted function norms as regularizers for deep neural networks. We provide, to the best of our knowledge, the first proof in the literature of the NP-hardness of computing function norms of DNNs, motivating the necessity of an approximate approach. We then derive a generalization bound for functions trained with weighted norms and prove that a natural stochastic optimization strategy minimizes the bound. Finally, we empirically validate the improved performance of the proposed regularization strategies for both convex function sets as well as DNNs on real-world classification and image segmentation tasks demonstrating improved performance over weight decay, dropout, and batch normalization. Source code will be released at the time of publication.

研究动机与目标

• 为解决深度神经网络中缺乏直接函数范数正则化的问题，而目前通常采用如权重衰减等间接方法进行正则化。
• 证明在基于ReLU的深度网络中计算函数范数是NP难问题，从而为基于近似的逼近方法提供理论依据。
• 开发一种随机优化框架，以近似加权函数范数，实现有原则的正则化。
• 通过实证验证，函数范数正则化在真实世界视觉任务中相比标准基线方法能提升泛化性能。
• 弥合经典学习理论（依赖于函数范数正则化）与深度学习（缺乏此类正则化）之间的差距。

提出的方法

• 提出基于采样的加权$L_2$函数范数近似作为正则化项，支持随机优化。
• 证明在基于ReLU的深度网络中计算函数范数是NP难问题，为近似方法提供理论动机。
• 推导出一个泛化界，表明直接函数范数正则化可控制期望误差，类似于Rademacher复杂度界。
• 提出一种随机优化策略，通过采样输入来近似函数范数，从而最小化泛化界。
• 使用反向传播算法计算近似函数范数的梯度，实现端到端训练。
• 使用来自独立数据集的无标签数据采样输入以进行范数近似，支持半监督正则化。

实验结果

研究问题

• RQ1 能否直接使用函数的范数对深度神经网络进行正则化，而非依赖如权重衰减等间接度量？
• RQ2 计算基于ReLU的深度神经网络的函数范数的计算复杂度是多少？
• RQ3 能否在随机梯度下降中有效使用函数范数的随机逼近以提升泛化性能？
• RQ4 在实践中，函数范数正则化与Dropout、批量归一化及权重衰减等成熟方法相比表现如何？
• RQ5 函数范数正则化是否能在低数据量场景下（尤其是图像分割任务中）带来更好的性能？

主要发现

• 证明了在基于ReLU的深度神经网络中计算函数范数是NP难问题，从而为使用近似方法提供了理论依据。
• 在MNIST和Oxford Flowers数据集上，加权$L_2$函数范数的随机逼近正则化方法在泛化性能上持续优于权重衰减、Dropout和批量归一化。
• 在仅使用500张训练图像的Cityscapes数据集上，函数范数正则化将平均IoU从基线的47.15%提升至更高水平，证明了其在低数据量场景下的有效性。
• 实证结果表明，该方法在收敛性和泛化性能上优于Kawaguchi等人（2017）提出的正则化器。
• 实证结果表明，用于随机范数逼近的采样过程能带来更好的泛化性能，体现在验证准确率和分割质量的提升。
• 该方法在与标准训练协议（如ENet的两阶段训练）结合时依然有效，并且无需复杂半监督架构即可获得可测量的性能提升。