[論文レビュー] Traveling Waves Encode the Recent Past and Enhance Sequence Learning

T. Anderson Keller, Lyle Muller+2 more|arXiv (Cornell University)|Sep 3, 2023

Neural dynamics and brain function被引用数 10

ひとこと要約

波動-RNN (wRNN) を紹介する minimal RNN モデル。隠れ状態は直近の過去を符号化する traveling waves をサポートし、wave-free RNNs より学習を速く、長い系列タスクでの性能を向上させ、LSTMs/GRUs に競合する。合成メモリ課題と逐次画像分類ベンチマークで波動の利点を検証する。

ABSTRACT

Traveling waves of neural activity have been observed throughout the brain at a diversity of regions and scales; however, their precise computational role is still debated. One physically inspired hypothesis suggests that the cortical sheet may act like a wave-propagating system capable of invertibly storing a short-term memory of sequential stimuli through induced waves traveling across the cortical surface, and indeed many experimental results from neuroscience correlate wave activity with memory tasks. To date, however, the computational implications of this idea have remained hypothetical due to the lack of a simple recurrent neural network architecture capable of exhibiting such waves. In this work, we introduce a model to fill this gap, which we denote the Wave-RNN (wRNN), and demonstrate how such an architecture indeed efficiently encodes the recent past through a suite of synthetic memory tasks where wRNNs learn faster and reach significantly lower error than wave-free counterparts. We further explore the implications of this memory storage system on more complex sequence modeling tasks such as sequential image classification and find that wave-based models not only again outperform comparable wave-free RNNs while using significantly fewer parameters, but additionally perform comparably to more complex gated architectures such as LSTMs and GRUs.

研究の動機と目的

• traveling waves が wave-field memory に最近の逐次情報を格納できるかを動機づけ、検証する。
• 隠れ状態に traveling waves を自然に現れる最小限の RNN アーキテクチャを開発する。
• 合成タスクと標準的な長い系列ベンチマークで波動ダイナミクスの memory およびシーケンス学習の利点を示す。

提案手法

• Wave-RNN (wRNN) を、円環状の hidden-state レイアウトを用いて離散的1次元波動方程式へ recurrence を形作ることで定義する。
• hidden チャンネル全体に traveling waves を生成するシフト (Sigma) を模倣する畳み込み再帰オペレーター (u) を用いる。
• ReLU 活性化、チャンネル化された hidden state、および特定の初期化: u-shift を Toeplitz/shift alignment で、V を疎結合で初期化して波動駆動メモリを有効にする。
• traveling waves の効果を分離するため iRNN ベースラインと比較する（最小限の wave ダイナミクスを持つ）。
• hidden activations の 2D フーリエ変換を用いて wave の出現を分析し、 traveling-wave 構造を検証する。

Figure 1 : Illustration of three input signals (top) and a corresponding wave-field with induced traveling waves (bottom). From an instantaneous snapshot of the wave-field at each timestep we are able decode both the time of onset and input channel of each input spike. Furthermore, subsequent spikes

実験結果

リサーチクエスチョン

• RQ1 wave-free 再帰アーキテクチャより、最小 RNN における traveling-wave ダイナミクスは最近の過去をより効果的に符号化できるか？
• RQ2 wave ベースのモデルは合成メモリ試験より長いシーケンスやより複雑なタスクへ一般化できるか？
• RQ3 Wave-RNN は長い系列ベンチマークで標準的なゲーティングアーキテクチャ（LSTM/GRU）と比較してどうか？
• RQ4 robust な波動伝播を可能にする必須のアーキテクチャ要素（畳み込み再帰、初期化）は何か？

主な発見

• Wave-RNN は Copy タスクにおいて、シーケンス長 T が {0,30,80} の範囲で、対応する wave-free ベースラインよりも損失を 5 オーダー以上低く達成した。
• Long Sequence Addition タスクでは、wRNN は iRNN よりも収束が速く、より長いシーケンス（最大 1000 ステップ）を解く。
• sequential image tasks（sMNIST、psMNIST、nsCIFAR10）では、wRNN は学習が速く、wave-free モデルを上回る性能を示し、LSTM/GRU および他のゲート型アーキテクチャと比較して競合的または優位な精度を示す。
• アブレーションにより u-shift 初期化が長距離波 memory の実現に最大の影響を及ぼすことが示され、V 初期化は主に収束の高速化に寄与。
• 可視化により、wRNN の隠れ状態に旅行波パターンが確認され、iRNN ベースラインには見られない。

Figure 2 : Visualization of hidden state (top) and associated 2D Fourier transform (bottom) for a wRNN (left) and iRNN (right) operating on the sMNIST task. We see the Wave-RNN exhibits a clear flow of activity across the hidden state (diagonal bands) while the iRNN does not.