[论文解读] Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization

Kale-ab Tessera, Sara Hooker+1 more|arXiv (Cornell University)|Feb 2, 2021

Stochastic Gradient Optimization Techniques参考文献 85被引用 16

一句话总结

本文提出了一种新的实验框架——相同参数容量的稀疏与密集网络对比（SC-SDC），以及一种归一化的梯度流度量指标——有效梯度流（EGF），以公平评估稀疏网络的优化效果。研究发现，标准的优化策略（如使用L2正则化的Adam优化器）会通过破坏梯度流而损害稀疏网络的性能，而批量归一化、非稀疏激活函数（如Swish）以及谨慎选择优化器对性能至关重要。

ABSTRACT

Training sparse networks to converge to the same performance as dense neural architectures has proven to be elusive. Recent work suggests that initialization is the key. However, while this direction of research has had some success, focusing on initialization alone appears to be inadequate. In this paper, we take a broader view of training sparse networks and consider the role of regularization, optimization, and architecture choices on sparse models. We propose a simple experimental framework, Same Capacity Sparse vs Dense Comparison (SC-SDC), that allows for a fair comparison of sparse and dense networks. Furthermore, we propose a new measure of gradient flow, Effective Gradient Flow (EGF), that better correlates to performance in sparse networks. Using top-line metrics, SC-SDC and EGF, we show that default choices of optimizers, activation functions and regularizers used for dense networks can disadvantage sparse networks. Based upon these findings, we show that gradient flow in sparse networks can be improved by reconsidering aspects of the architecture design and the training regime. Our work suggests that initialization is only one piece of the puzzle and taking a wider view of tailoring optimization to sparse networks yields promising results.

研究动机与目标

• 为解决尽管初始化技术不断进步，稀疏网络与密集网络之间仍存在性能差距的问题。
• 探究在密集网络中常用的优化、正则化和架构选择是否对稀疏网络造成不利影响。
• 开发一种公平的基准测试框架，通过在稀疏与密集模型之间保持活跃参数数量和深度一致，隔离稀疏性的影响。
• 提出一种新指标——有效梯度流（EGF），其对稀疏网络性能的预测能力优于现有梯度流度量。
• 为稳定梯度流并改善稀疏网络收敛性，指导架构与训练策略的选择。

提出的方法

• 提出相同参数容量的稀疏与密集网络对比（SC-SDC）实验设置，通过控制活跃参数数量和深度，对稀疏与密集网络进行对比。
• 引入有效梯度流（EGF）这一归一化梯度流度量指标，考虑活跃参数数量，提升其在稀疏设置下与模型性能的相关性。
• 在多个架构（如Wide ResNet-50）和剪枝方法（如基于大小的剪枝）上开展大规模实验，评估不同优化策略的影响。
• 系统性地评估优化器（Adam、RMSProp）、正则化方法（L2、数据增强）、归一化技术（BatchNorm）、激活函数（ReLU、Swish、PReLU）以及权重初始化的影响。
• 利用EGF诊断并关联优化策略与稀疏网络中梯度流动力学的关系。
• 在多种设置下验证结论，包括动态剪枝和初始化-剪枝方法，以确保结果的普适性。

实验结果

研究问题

• RQ1 在密集网络中常用的优化与正则化策略是否会对稀疏网络的训练造成负面影响？
• RQ2 稀疏网络中的梯度流与密集网络有何不同？是否可以实现更优的度量？
• RQ3 诸如BatchNorm、激活函数选择和优化器配置等架构选择在多大程度上影响稀疏网络的性能？
• RQ4 公平比较框架（SC-SDC）能否有效隔离稀疏性与模型大小、深度差异的影响？
• RQ5 通过调整架构与训练策略来改善梯度流，是否能提升稀疏网络的收敛性能？

主要发现

• 当与L2正则化或数据增强结合时，Adam和RMSProp等标准优化器会导致稀疏网络中梯度流变差，性能下降。
• 批量归一化对稀疏网络的重要性远高于对密集网络，因其能稳定梯度流并实现收敛。
• 非稀疏激活函数（如Swish和PReLU）由于其非单调性和自适应特性，可改善稀疏网络中的梯度流。
• 有效梯度流（EGF）作为稀疏网络性能（如准确率、损失）的预测指标，其预测能力优于传统梯度流度量。
• 稀疏网络与密集网络之间的性能差距并非仅由初始化引起；优化与架构选择起着决定性作用。
• SC-SDC与EGF的发现可推广至多种架构（如Wide ResNet-50）和剪枝方法（如基于大小的剪枝），证实了研究结论的稳健性。