[論文レビュー] Efficient recurrent architectures through activity sparsity and sparse back-propagation through time

Anand Subramoney, Khaleelulla Khan Nazeer+3 more|arXiv (Cornell University)|Jun 13, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿では、閾値に達した離散的イベントを介した疎通信用に特化したスパiking様RNN変種、イベントベースのゲート付きリカレントユニット（EGRU）を提案する。前向きおよび逆伝播の両方を計算的に疎にすることで（時間ステップではなくイベント数に比例）、シーケンスタスクにおいて競争力のある性能を達成すると同時に、特に神経形状およびエネルギー制約のあるシステムにおいて、メモリおよび計算リソースの大幅な削減を実現する。

ABSTRACT

Recurrent neural networks (RNNs) are well suited for solving sequence tasks in resource-constrained systems due to their expressivity and low computational requirements. However, there is still a need to bridge the gap between what RNNs are capable of in terms of efficiency and performance and real-world application requirements. The memory and computational requirements arising from propagating the activations of all the neurons at every time step to every connected neuron, together with the sequential dependence of activations, contribute to the inefficiency of training and using RNNs. We propose a solution inspired by biological neuron dynamics that makes the communication between RNN units sparse and discrete. This makes the backward pass with backpropagation through time (BPTT) computationally sparse and efficient as well. We base our model on the gated recurrent unit (GRU), extending it with units that emit discrete events for communication triggered by a threshold so that no information is communicated to other units in the absence of events. We show theoretically that the communication between units, and hence the computation required for both the forward and backward passes, scales with the number of events in the network. Our model achieves efficiency without compromising task performance, demonstrating competitive performance compared to state-of-the-art recurrent network models in real-world tasks, including language modeling. The dynamic activity sparsity mechanism also makes our model well suited for novel energy-efficient neuromorphic hardware. Code is available at https://github.com/KhaleelKhan/EvNN/.

研究の動機と目的

• 標準RNNのトレーニングおよびデプロイにおける高い計算およびメモリコスト、特に時間軸に沿った誤差逆伝播（BPTT）による負担を軽減すること。
• リソース制約のある環境におけるRNNの効率性と実世界での展開ニーズのギャップを埋めること。
• 生物的ニューロンダイナミクスを模倣することで、疎でイベント駆動の通信を用いた、エネルギー効率的でスケーラブルな再帰的モデルを実現すること。
• 性能を維持しつつ計算負荷を低減する理論的根拠に基づいた疎な誤差逆伝播法を開発すること。

提案手法

• ユニットが内部状態が閾値を超えた際にのみ通信する、閾値に基づくイベント生成メカニズムをゲート付きリカレントユニット（GRU）に拡張する。
• 混合動的システムに対する随伴法を用いて導出されたイベントベースの勾配更新ルールを導入し、時間軸に沿った疎な逆伝播を可能にする。
• フォワードパスを、イベント発生時のみに状態更新が発生する連続時間動的システムとしてモデル化することで、無駄な計算を削減する。
• 理論的分析により、フォワードおよびバックワードパスの計算量が時間ステップ数ではなくイベント数に比例して増加することを示した。
• イベント発生時にのみパラメータを更新するイベントベースの学習ルールを採用し、疎なパラメータ更新を保証する。
• このフレームワークは一般化可能であり、標準の再帰的ダイナミクスをイベント駆動のダイナミクスに置き換えることで、LSTMを含む任意のRNNアーキテクチャに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 RNNにおける活性の疎性は、性能を損なわずに推論およびトレーニングの両方における計算およびメモリコストを顕著に低減できるか？
• RQ2 イベントベース通信を用いた再帰的モデルにおいて、時間軸に沿った誤差逆伝播をどのようにして疎かつ効率的に実現できるか？
• RQ3 イベント駆動のRNNアーキテクチャは、標準のGRUおよびLSTMと比較して、実世界のシーケンスタスクで競争力のある性能を維持できるか？
• RQ4 モデルの疎性はネットワークの活性にどの程度比例するか？ また、神経形状ハードウェア上でのエネルギー効率にどのような影響を与えるか？
• RQ5 提案手法はGRUを越えた他のRNNアーキテクチャにも一般化可能か？

主な発見

• EGRUモデルは、文字レベルおよび語彙レベルのタスクを含む言語モデリングベンチマークにおいて、最先端のGRUおよびLSTMモデルと同等のタスク性能を達成した。
• フォワードパスの計算およびパラメータ更新の複雑さは、時間ステップ数ではなくイベント数に線形に比例しており、顕著な効率性向上を実現した。
• 推論およびトレーニングの両方において、高いレベルの活性の疎性を示した。一部の設定では、任意の時点で90％のユニットが非活性であった。
• 理論的分析により、連続時間極限において、勾配計算コストがネットワーク内のイベント数に比例するのみであることが確認された。
• 不規則な間隔のシーケンシャルデータに対してもネイティブに互換性があり、イベントベースのソフトウェアプリケーションによって効率的に実装可能である。
• このフレームワークは神経形状ハードウェアへの直接的な移植を可能にし、活性の疎性が直接エネルギー効率に反映される。特に、オンチップメモリおよび疎なパラメータアクセスと組み合わせると顕著な恩恵をもたらす。