[论文解读] Efficient recurrent architectures through activity sparsity and sparse back-propagation through time

Anand Subramoney, Khaleelulla Khan Nazeer+3 more|arXiv (Cornell University)|Jun 13, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出事件驱动门控循环单元（EGRU），一种类脉冲的RNN变体，通过阈值触发的离散事件实现单元间的稀疏通信。通过使前向传播和反向传播均实现计算稀疏化——其复杂度取决于事件数量而非时间步数——EGRU在序列任务上实现了具有竞争力的性能，同时大幅降低了内存和计算资源消耗，尤其适用于神经形态计算与资源受限系统。

ABSTRACT

Recurrent neural networks (RNNs) are well suited for solving sequence tasks in resource-constrained systems due to their expressivity and low computational requirements. However, there is still a need to bridge the gap between what RNNs are capable of in terms of efficiency and performance and real-world application requirements. The memory and computational requirements arising from propagating the activations of all the neurons at every time step to every connected neuron, together with the sequential dependence of activations, contribute to the inefficiency of training and using RNNs. We propose a solution inspired by biological neuron dynamics that makes the communication between RNN units sparse and discrete. This makes the backward pass with backpropagation through time (BPTT) computationally sparse and efficient as well. We base our model on the gated recurrent unit (GRU), extending it with units that emit discrete events for communication triggered by a threshold so that no information is communicated to other units in the absence of events. We show theoretically that the communication between units, and hence the computation required for both the forward and backward passes, scales with the number of events in the network. Our model achieves efficiency without compromising task performance, demonstrating competitive performance compared to state-of-the-art recurrent network models in real-world tasks, including language modeling. The dynamic activity sparsity mechanism also makes our model well suited for novel energy-efficient neuromorphic hardware. Code is available at https://github.com/KhaleelKhan/EvNN/.

研究动机与目标

• 为解决标准RNN在训练与部署过程中，尤其是通过时间反向传播（BPTT）时产生的高计算与内存开销问题。
• 弥合RNN效率与资源受限环境中实际部署需求之间的差距。
• 通过稀疏、事件驱动的通信机制模拟生物神经动力学，实现能效高效的可扩展循环模型。
• 开发一种理论基础坚实的稀疏反向传播方法，在保持性能的同时降低计算负载。

提出的方法

• 在门控循环单元（GRU）基础上扩展出基于阈值的事件生成机制，使单元仅在其内部状态跨越阈值时才进行通信。
• 通过伴随法推导出适用于混合动力系统的事件驱动梯度更新规则，实现稀疏的时间反向传播。
• 将前向传播建模为连续时间动力系统，仅在事件发生时更新状态，从而减少冗余计算。
• 理论分析表明，前向与反向传播的复杂度均与事件数量成正比，而非时间步数。
• 采用事件驱动的学习规则，仅在事件发生时更新参数，确保参数更新的稀疏性。
• 该框架具有通用性，可通过将标准循环机制替换为事件驱动动力学，适用于任意RNN架构，包括LSTM。

实验结果

研究问题

• RQ1 RNN中的活动稀疏性是否能显著降低推理与训练过程中的计算与内存开销，同时不损失性能？
• RQ2 如何在事件驱动通信机制下实现RNN中稀疏且高效的反向传播？
• RQ3 事件驱动的RNN架构在真实世界序列任务上的性能是否与标准GRU和LSTM相当？
• RQ4 模型的稀疏性在多大程度上随网络活动水平而变化？这对神经形态硬件上的能效有何影响？
• RQ5 所提出的方法是否可推广至GRU以外的其他RNN架构？

主要发现

• EGRU在语言建模基准测试中，包括字符级与词级任务，其任务性能与当前最先进的GRU和LSTM模型相当。
• 前向传播计算与参数更新复杂度与事件数量呈线性关系，而非时间步数，从而实现显著的效率提升。
• 在推理与训练过程中，模型均表现出高度的活动稀疏性，某些配置下任意时刻高达90%的单元处于非激活状态。
• 理论分析证实，在连续时间极限下，梯度计算成本仅与网络中的事件数量成正比。
• 模型天然兼容非均匀间隔的序列数据，可利用事件驱动软件原语高效实现。
• 该框架可直接映射至神经形态硬件，其中活动稀疏性可直接转化为能效优势，尤其在结合片上内存与稀疏参数访问时更为显著。