[論文レビュー] Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks

Alan Jeffares, Qinghai Guo+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、従来の再帰的ニューラルネットワーク（RNN）にスパイクにインspiredされたランクコーディング（RC）を導入し、最初の出力ニューロンがスパイクを発火した後、計算を停止することで早期推論を可能にした。この手法は、時間的に符号化されたMNISTデータセットで1ステップ目の推論で最大99.19％の精度を達成し、標準的なLSTMおよび時間的コーディングを用いたSNNと比較して、スピードと精度のトレードオフを顕著に改善した。

ABSTRACT

Biological spiking neural networks (SNNs) can temporally encode information in their outputs, e.g. in the rank order in which neurons fire, whereas artificial neural networks (ANNs) conventionally do not. As a result, models of SNNs for neuromorphic computing are regarded as potentially more rapid and efficient than ANNs when dealing with temporal input. On the other hand, ANNs are simpler to train, and usually achieve superior performance. Here we show that temporal coding such as rank coding (RC) inspired by SNNs can also be applied to conventional ANNs such as LSTMs, and leads to computational savings and speedups. In our RC for ANNs, we apply backpropagation through time using the standard real-valued activations, but only from a strategically early time step of each sequential input example, decided by a threshold-crossing event. Learning then incorporates naturally also *when* to produce an output, without other changes to the model or the algorithm. Both the forward and the backward training pass can be significantly shortened by skipping the remaining input sequence after that first event. RC-training also significantly reduces time-to-insight during inference, with a minimal decrease in accuracy. The desired speed-accuracy trade-off is tunable by varying the threshold or a regularization parameter that rewards output entropy. We demonstrate these in two toy problems of sequence classification, and in a temporally-encoded MNIST dataset where our RC model achieves 99.19% accuracy after the first input time-step, outperforming the state of the art in temporal coding with SNNs, as well as in spoken-word classification of Google Speech Commands, outperforming non-RC-trained early inference with LSTMs.

研究の動機と目的

• スパイクニューラルネットワーク（SNN）の効率性と従来の人工ニューラルネットワーク（ANN）の精度を統合するために、標準的なRNNにスパイクにインスパイアされた時間的コーディングを組み込むこと。
• 出力におけるしきい値を超えたイベントが発生した後に動的にシーケンスを切断することで、精度を損なわずに計算コストと推論時間を削減すること。
• 調整可能なしきい値と学習可能なエントロピー正則化パラメータを用いて、RNN推論における調整可能なスピードと精度のトレードオフを実現すること。
• SNNで用いられるメカニズムの1つであるランクコーディングが、標準的なバックプロパゲーションスルータイム（BPTT）を用いたANNに効果的に適応可能であることを示し、推論効率を向上させること。
• RCトレーニングが、キーワード認識などのリアルタイム応用において、推論の初期洞察に至るまでの時間を短縮することを示すこと。

提案手法

• 本手法は、実数値の活性化を用いた標準的なバックプロパゲーションスルータイム（BPTT）を適用するが、最初の出力ニューロンが事前に定義されたしきい値を超えた時点で、入力シーケンスの処理を停止し、早期推論を実現する。
• しきい値を超えたイベントが計算の停止を決定づけ、効果的にシーケンスを切断することで、前方伝搬と逆伝搬の両方の実行時間を短縮する。
• 出力エントロピーに基づく正則化項を導入し、より早くかつ信頼性の高い予測を促進することで、スピードと精度のトレードオフを改善する。
• ネットワーク構造の変更なしに、標準的なRNN（例：LSTM）を用いてエンドツーエンドで学習するが、推論のタイミングのみをしきい値メカニズムによって変更する。
• 推論時にしきい値を調整することで、処理速度を制御可能であり、正則化パラメータβは学習中に最適化され、早期かつ正確な出力を促進する。
• 本手法は、時間的符号化されたMNISTの変種やGoogle Speech Commandsを含む、シーケンス分類タスクで評価され、非RCトレーニング済みモデルおよびSNNベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 スパイクにインスパイアされたランクコーディングは、標準的な人工再帰的ニューラルネットワークに効果的に適用可能であり、推論を高速化できるか？
• RQ2 RCトレーニングは、精度を維持または向上させつつ、推論中の初期洞察に至るまでの時間を短縮するか？
• RQ3 しきい値の調整と正則化によって、スピードと精度のトレードオフを独立して制御可能であり、従来の手法と比較してどのように異なるか？
• RQ4 RCトレーニング済みRNNは、キーワード分類などの実世界の時間的シーケンスタスクにおいて、最先端のSNNおよび非RC-ANNと比較して、どのように性能を発揮するか？
• RQ5 標準的なRNNのアーキテクチャを変更せず、RCトレーニングが推論効率をどの程度向上させるか？

主な発見

• RCモデルは、時間的に符号化されたMNISTデータセットで、1ステップ目の入力時間ステップ後に99.19％の精度を達成し、ランクコーディングを用いた最先端のSNNを上回った。
• Google Speech Commands分類タスクにおいて、RCトレーニング済みLSTMは、任意の推論速度において非RCトレーニング済みモデルよりも高い精度を示し、優れたスピードと精度のトレードオフを実現した。
• RCトレーニングにより、推論中の初期洞察に至るまでの時間が顕著に短縮されたが、精度の損失は最小限に抑えられ、特にエントロピー正則化と組み合わせると顕著であった。
• RCトレーニング済みモデルでは、スピードと精度のトレードオフがより調整可能であった：しきい値を下げるほど精度が急激に低下する傾向にあったが、正則化パラメータβを変更することで、わずかまたはわずかに向上した精度で早期推論が可能になった。
• 最初のしきい値を超えたイベント後に残りの入力ステップをスキップすることで、ネットワークアーキテクチャや学習アルゴリズムを変更せず、前方伝搬と逆伝搬の両方で計算の節約が達成された。
• 結果から、標準的なRNNに1つのニューロモーフィックメカニズム（ランクコーディング）を統合するだけで、顕著な効率向上が得られ、高い性能を維持できることが示された。これは、ニューロモーフィックコンピューティングへの実用的で現実的な道筋を示唆している。