[论文解读] Transformed $\ell_1$ Regularization for Learning Sparse Deep Neural Networks

Rongrong Ma, Jianyu Miao+2 more|arXiv (Cornell University)|Jan 4, 2019

Sparse and Compressive Sensing Techniques参考文献 50被引用 8

一句话总结

该论文提出了一种集成的变换ℓ₁正则化方法，通过结合组稀疏性和非凸变换ℓ₁范数，同时在深度神经网络的连接和神经元层面诱导稀疏性。该方法在测试准确率和稀疏性（76.88%的连接稀疏度）方面优于ℓ₁、SGL和CGES，同时收敛更快，并生成冗余更少、更清晰的滤波器。

ABSTRACT

Deep neural networks (DNNs) have achieved extraordinary success in numerous areas. However, to attain this success, DNNs often carry a large number of weight parameters, leading to heavy costs of memory and computation resources. Overfitting is also likely to happen in such network when the training data are insufficient. These shortcomings severely hinder the application of DNNs in resource-constrained platforms. In fact, many network weights are known to be redundant and can be removed from the network without much loss of performance. To this end, we introduce a new non-convex integrated transformed $\ell_1$ regularizer to promote sparsity for DNNs, which removes both redundant connections and unnecessary neurons simultaneously. To be specific, we apply the transformed $\ell_1$ to the matrix space of network weights and utilize it to remove redundant connections. Besides, group sparsity is also employed as an auxiliary to remove unnecessary neurons. An efficient stochastic proximal gradient algorithm is presented to solve the new model at the same time. To the best of our knowledge, this is the first work to utilize a non-convex regularizer in sparse optimization based method to promote sparsity for DNNs. Experiments on several public datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 为解决深度神经网络（DNNs）因参数量过大而导致的高内存和计算成本问题。
• 克服现有稀疏化方法的局限性——如手动设定剪枝标准或仅在训练期间使用dropout——通过实现端到端、可微分的稀疏性诱导。
• 开发一种统一的正则化框架，同时促进连接级别和神经元级别的稀疏性。
• 利用非凸正则化（特别是变换ℓ₁）实现比凸ℓ₁更稀疏、偏差更小的模型，同时保持训练稳定性。

提出的方法

• 提出一种集成正则化器，结合组稀疏性和变换ℓ₁范数，以在神经元和连接两个层面诱导稀疏性。
• 将变换ℓ₁范数应用于权重矩阵空间，以促进连接间的稀疏性，其中参数a控制非凸性程度。
• 利用组稀疏性识别并移除整个冗余神经元，充分利用网络中的结构信息。
• 设计一种高效的随机近端梯度算法，以求解包含新正则化项的非凸优化问题。
• 采用两阶段稀疏机制：组稀疏性用于移除神经元，变换ℓ₁用于移除冗余连接。
• 调节变换ℓ₁中的参数a，以在ℓ₀类稀疏性（a较小）与ℓ₁类行为（a较大）之间取得平衡。

实验结果

研究问题

• RQ1 非凸正则化器（如变换ℓ₁）是否能在深度神经网络中比凸ℓ₁更有效地诱导稀疏性？
• RQ2 通过组稀疏性和变换ℓ₁联合正则化，是否能比单独使用任一方法更有效地同时移除冗余神经元和连接？
• RQ3 在相同稀疏度下，所提方法是否在测试准确率和收敛速度上优于ℓ₁、SGL和CGES？
• RQ4 变换ℓ₁中参数a的选择如何影响模型准确率、FLOPs和参数量？

主要发现

• 所提出的集成Tℓ₁正则化器在连接上实现了76.88%的稀疏度，显著优于组稀疏性（51.60%）和仅使用Tℓ₁（无神经元移除）的方法。
• 当a=10⁻²时，该方法收敛最快，在1000次迭代时达到接近0.95的测试准确率，优于ℓ₁、SGL和CGES（在相同点准确率均低于0.85）。
• 当a=10⁻³时，网络达到最高测试准确率（0.95），而a=10⁻¹时参数量最低，表明准确率与模型大小之间存在权衡。
• 可视化结果表明，集成Tℓ₁生成的滤波器更清晰，冗余空间特征更少，而ℓ₁或SGL生成的滤波器则相对密集。
• 该方法成功移除了12个神经元和76.88%的连接，证明了在结构和连接层面实现有效联合稀疏性的能力。
• 在不同a值（0.2–0.3）下，FLOP和参数使用量保持稳定，表明方法具有持续的高效性。