[论文解读] Learning Neural Network Classifiers with Low Model Complexity

Jayadeva, Himanshu Pant+6 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 51被引用 3

一句话总结

本文提出 LCNN 学习规则，一种新颖的训练方法，通过最小化可微分的 fat shattering VC 维数上界来控制模型复杂度，从而实现更快的收敛速度、更优的泛化性能，并减少梯度消失问题。该方法在前馈网络、卷积神经网络和自编码器中均提升了性能，相较于 Dropout 和批量归一化等标准正则化技术，在多种数据集上表现更优。

ABSTRACT

Modern neural network architectures for large-scale learning tasks have substantially higher model complexities, which makes understanding, visualizing and training these architectures difficult. Recent contributions to deep learning techniques have focused on architectural modifications to improve parameter efficiency and performance. In this paper, we derive a continuous and differentiable error functional for a neural network that minimizes its empirical error as well as a measure of the model complexity. The latter measure is obtained by deriving a differentiable upper bound on the Vapnik-Chervonenkis (VC) dimension of the classifier layer of a class of deep networks. Using standard backpropagation, we realize a training rule that tries to minimize the error on training samples, while improving generalization by keeping the model complexity low. We demonstrate the effectiveness of our formulation (the Low Complexity Neural Network - LCNN) across several deep learning algorithms, and a variety of large benchmark datasets. We show that hidden layer neurons in the resultant networks learn features that are crisp, and in the case of image datasets, quantitatively sharper. Our proposed approach yields benefits across a wide range of architectures, in comparison to and in conjunction with methods such as Dropout and Batch Normalization, and our results strongly suggest that deep learning techniques can benefit from model complexity control methods such as the LCNN learning rule.

研究动机与目标

• 解决大规模深度神经网络中因参数量过大而导致的过拟合与泛化性能差的问题。
• 为神经网络分类器推导出一个可微分的、连续的 fat shattering VC 维数上界。
• 设计一个损失函数，平衡经验误差与结构风险，从而在保持高准确率的同时最小化模型复杂度。
• 通过 LCNN 规则在深层网络中增强梯度，缓解梯度消失问题。
• 在多种网络架构和数据集上展示 LCNN 方法的通用性与有效性。

提出的方法

• 推导神经网络最终分类层 fat shattering VC 维数的连续且可微分的上界。
• 构建一个复合损失函数，结合经验风险与 VC 维数上界，以最小化总风险。
• 使用反向传播计算 LCNN 损失函数的梯度，从而得出用于权重与偏置更新的 LCNN 学习规则。
• 将 LCNN 损失项作为正则化成分集成到训练目标中，通过全局超参数控制复杂度的权衡。
• 将 LCNN 规则应用于前馈网络、卷积神经网络和稀疏自编码器，使用标准梯度下降优化方法。
• 分析最终层与倒数第二层的梯度，以实证验证梯度消失效应的降低。

实验结果

研究问题

• RQ1 能否为神经网络分类器推导出 fat shattering VC 维数的可微分上界，以控制模型复杂度？
• RQ2 在同时最小化该上界与经验误差的情况下，是否能实现更好的泛化性能与更快的收敛速度？
• RQ3 LCNN 规则在深度网络中能在多大程度上缓解梯度消失问题？
• RQ4 在测试准确率与训练速度方面，LCNN 方法相较于 Dropout 和批量归一化等现有正则化技术表现如何？
• RQ5 LCNN 方法能否在卷积神经网络、前馈神经网络和自编码器等多种架构中有效应用？

主要发现

• 在 LeNet 架构下，LCNN 在 MNIST 数据集上训练 170 个周期后测试误差为 0.84%，而未使用 LCNN 时为 0.94%，表明泛化性能得到提升。
• LCNN 情况下，最终层与倒数第二层的平均绝对梯度值接近提高了一个数量级，表明梯度消失效应显著减弱。
• LCNN 方法使卷积层中的滤波器更锐利、对比度更高，暗示特征表示更清晰且更具判别性。
• LCNN 规则在多种架构（包括全连接网络、卷积神经网络和稀疏自编码器）中均一致提升了收敛速度与测试准确率。
• 在基准数据集上，LCNN 方法在测试准确率与训练效率方面均优于标准正则化技术（如 Dropout 与批量归一化）。
• LCNN 方法生成了更稀疏的模型，VC 维数上界更低，权重直方图显示参数冗余减少，验证了该结论。