[论文解读] Evolving and understanding sparse deep neural networks using cosine similarity

Joost Pieterse, Constantin Mocanu|Data Archiving and Networked Services (DANS)|Mar 17, 2019

Evolutionary Algorithms and Applications参考文献 61被引用 6

一句话总结

该论文提出CTRE，一种受大脑启发的算法，通过余弦相似度引导拓扑演化，从零开始训练高度稀疏的深度神经网络。通过迭代剪枝低 magnitude 权重并添加最相似的连接（无需密集梯度），CTRE 在八个不同数据集的极端稀疏设置下实现了最先进性能，显著优于现有方法，同时实现了高效、低资源的训练。

ABSTRACT

Training sparse neural networks with adaptive connectivity is an active research topic. Such networks require less storage and have lower computational complexity compared to their dense counterparts. The Sparse Evolutionary Training (SET) procedure uses weights magnitude to evolve efficiently the topology of a sparse network to fit the dataset, while enabling it to have quadratically less parameters than its dense counterpart. To this end, we propose a novel approach that evolves a sparse network topology based on the behavior of neurons in the network. More exactly, the cosine similarities between the activations of any two neurons are used to determine which connections are added to or removed from the network. By integrating our approach within the SET procedure, we propose 5 new algorithms to train sparse neural networks. We argue that our approach has low additional computational complexity and we draw a parallel to Hebbian learning. Experiments are performed on 8 datasets taken from various domains to demonstrate the general applicability of our approach. Even without optimizing hyperparameters for specific datasets, the experiments show that our proposed training algorithms usually outperform SET and state-of-the-art dense neural network techniques. The last but not the least, we show that the evolved connectivity patterns of the input neurons reflect their impact on the classification task.

研究动机与目标

• 解决在低资源设备上训练密集神经网络时计算和内存成本过高的问题。
• 克服现有稀疏训练方法的局限性，例如对密集梯度的依赖或在高稀疏性下的性能不佳。
• 开发一种生物上合理、高效且可扩展的从零开始训练稀疏神经网络的方法。
• 通过支持适合边缘设备和数据中心的稀疏模型，实现节能的人工智能。

提出的方法

• CTRE 算法通过在每个周期剪枝最小 magnitude 权重来演化稀疏神经网络拓扑。
• 它计算相邻层神经元激活之间的余弦相似度矩阵，以识别应添加的最重要连接。
• 该方法添加未被先前剪枝过的最高相似度连接，确保稀疏梯度计算。
• 如果最高相似度连接已被剪枝，则插入一条随机连接，以帮助逃离局部极小值。
• 该过程以稀疏、迭代的方式交替进行剪枝和连接添加，无需对密集权重进行完整反向传播。
• 评估了两种变体：CTRE seq（顺序）和 CTRE sim（同时）探索相似性和随机性。

Figure 1 : Schematic of the proposed approach (CTRE sim ). At each epoch, after feed-forward and back-propagation, a fraction $\zeta$ of the weights with the smallest magnitude is dropped (red connections). Then, similarity matrices ${\bm{Sim}}^{1}$ and ${\bm{Sim}}^{2}$ are computed using Equation 2

实验结果

研究问题

• RQ1 在无需密集梯度计算的情况下，神经元激活之间的余弦相似度能否有效引导稀疏神经网络拓扑的演化？
• RQ2 与最先进稀疏训练方法相比，CTRE 在极端稀疏性设置下的表现如何？
• RQ3 随机探索的整合是否能防止 CTRE 在高稀疏性设置下收敛到较差的局部极小值？
• RQ4 CTRE 是否能在保持低计算和内存开销的同时，实现对低资源设备具有竞争力的性能？

主要发现

• CTRE 在高度稀疏神经网络中优于所有最先进稀疏训练算法，在某些数据集上准确率提升最高达15%。
• 在 MNIST 和 CIFAR-10 数据集上，CTRE 在 95% 稀疏度下测试准确率与密集基线相差不到1%，而其他方法无法收敛。
• CTRE 的收敛速度显著快于基线方法，尤其在高稀疏性设置下，如大型网络的训练损失曲线所示。
• 消融研究证实随机探索至关重要：在 Isolet 数据集上，无随机探索的 CTRE 在 200 个周期后陷入局部极小值且无法进一步提升。
• 余弦相似度在中等和高重要性范围内有效识别关键连接，其在稀疏设置下的表现优于基于 magnitude 的排序方法。
• 该方法无需密集梯度即可从零开始训练稀疏网络，因此适用于低资源设备的部署。

Figure 2 : Classification accuracy (%) comparison among methods on a highly large and sparse 3-layer MLP with a density lower than $0.3\%$ ( $n^{l}=1000$ , $\varepsilon=1$ ).