[论文解读] Learning Compact Neural Networks with Regularization

Samet Oymak|arXiv (Cornell University)|Feb 5, 2018

Domain Adaptation and Few-Shot Learning被引用 3

一句话总结

本文提出了一种正则化梯度下降框架，用于学习具有改进泛化能力和优化性能的紧凑浅层神经网络。通过引入覆盖维数来量化约束集的复杂度，证明了当数据量超过该维数时，可实现局部线性收敛和近似最优的样本复杂度，从而实现对具有稀疏性、低秩或权重重用约束的过参数化模型的高效训练。

ABSTRACT

Proper regularization is critical for speeding up training, improving generalization performance, and learning compact models that are cost efficient. We propose and analyze regularized gradient descent algorithms for learning shallow neural networks. Our framework is general and covers weight-sharing (convolutional networks), sparsity (network pruning), and low-rank constraints among others. We first introduce covering dimension to quantify the complexity of the constraint set and provide insights on the generalization properties. Then, we show that proposed algorithms become well-behaved and local linear convergence occurs once the amount of data exceeds the covering dimension. Overall, our results demonstrate that near-optimal sample complexity is sufficient for efficient learning and illustrate how regularization can be beneficial to learn over-parameterized networks.

研究动机与目标

• 开发一种使用正则化学习紧凑神经网络的一般性框架，以改善泛化能力和优化性能。
• 利用约束集的覆盖维数量化正则化对模型复杂度的影响。
• 建立正则化梯度下降的可证明局部线性收敛性，并实现近似最优的样本复杂度。
• 将理论保证扩展到卷积网络等结构化架构以及深层网络的中间层。
• 证明正则化可通过控制优化景观，实现对过参数化模型的高效训练。

提出的方法

• 引入覆盖维数作为约束集复杂度的度量，以分析泛化能力和优化性能。
• 提出结合约束集 $\mathcal{C}$ 先验知识的正则化梯度下降算法。
• 通过证明当数据量超过约束集 $\mathcal{C}$ 的覆盖维数时，问题变得条件良好，来分析优化景观。
• 使用 Rademacher 复杂度界 bound 泛化误差，表明其依赖于约束集 $\mathcal{C}$ 的覆盖维数与隐藏单元数 $h$ 的和。
• 通过利用权重重用和张量初始化，将该框架应用于卷积网络，以改善全局收敛性。
• 通过在随机激活假设下建模中间层学习，将结果扩展到深层网络，实现在最小数据需求下的全局线性收敛。

实验结果

研究问题

• RQ1 正则化如何影响浅层神经网络的泛化能力和优化性能？
• RQ2 约束集的覆盖维数在决定样本复杂度和收敛行为方面起什么作用？
• RQ3 在过参数化设置下，正则化梯度下降能否实现局部线性收敛并具有近似最优的样本复杂度？
• RQ4 稀疏性、低秩和权重重用约束如何影响神经网络的泛化能力和优化性能？
• RQ5 所提出的框架能否通过随机激活模型下的中间层学习，扩展到深层网络？

主要发现

• 当训练样本数量超过约束集覆盖维数与隐藏单元数 $h$ 之和时，泛化误差被有界。
• 当数据量超过约束集 $\mathcal{C}$ 的覆盖维数时，正则化梯度下降实现局部线性收敛。
• 所提框架通过降低所需样本复杂度并增大全连接网络中局部收敛的半径，优于先前工作。
• 对于卷积网络，结合张量初始化时，该框架可提供改进的全局收敛保证。
• 在深层网络中，基于随机激活模型的中间层学习可实现全局线性收敛，且数据需求最小。
• 覆盖维数是控制泛化与优化的关键参数，将约束结构与样本效率联系起来。