[論文レビュー] Using Firing-Rate Dynamics to Train Recurrent Networks of Spiking Model Neurons

Brian DePasquale, Mark M. Churchland+1 more|arXiv (Cornell University)|Jan 28, 2016

Neural dynamics and brain function参考文献 22被引用数 38

ひとこと要約

本論文では、連続変数の「レート」ネットワークを中間手段として用い、トレーニングターゲットを生成することで、再帰的接続されたスパikingニューラルネットワークを訓練する新しい手法を提示する。レートネットワークのダイナミクスをその主成分に投影することにより、ニューロン数の増加を最小限に抑えつつ、高精度なタスク性能を達成し、生物学的現実性と変動性を保持する。

ABSTRACT

Recurrent neural networks are powerful tools for understanding and modeling computation and representation by populations of neurons. Continuous-variable or "rate" model networks have been analyzed and applied extensively for these purposes. However, neurons fire action potentials, and the discrete nature of spiking is an important feature of neural circuit dynamics. Despite significant advances, training recurrently connected spiking neural networks remains a challenge. We present a procedure for training recurrently connected spiking networks to generate dynamical patterns autonomously, to produce complex temporal outputs based on integrating network input, and to model physiological data. Our procedure makes use of a continuous-variable network to identify targets for training the inputs to the spiking model neurons. Surprisingly, we are able to construct spiking networks that duplicate tasks performed by continuous-variable networks with only a relatively minor expansion in the number of neurons. Our approach provides a novel view of the significance and appropriate use of "firing rate" models, and it is a useful approach for building model spiking networks that can be used to address important questions about representation and computation in neural systems.

研究の動機と目的

• 再帰的接続されたスパikingニューラルネットワークを、複雑な時間的タスクを遂行できるように訓練する課題に対処すること。
• スパikingネットワークへの直接的な訓練の限界を克服するため、ターゲットダイナミクスの代わりに連続変数ネットワークを補助的に用いること。
• スパikingネットワークがレートネットワークの挙動を再現しつつ、スパikingの不規則性やDaleの法則などの生物学的特徴を組み込むこと。
• ネットワーク活動の主成分分析（PCA）を活用して、スパikingネットワークにおける連続的ダイナミクスを表現するのに必要なニューロン数を削減すること。
• 実験データ（例：運動皮膚質およびEMG記録）と一致する生物学的に妥当なスパikingネットワークを構築するフレームワークを提供すること。

提案手法

• ターゲットタスクを遂行する連続変数の「レート」ネットワークを訓練し、トレーニングの補助ターゲット信号を生成する。
• レートネットワークの活動に対して主成分分析（PCA）を適用し、ネットワークダイナミクスの大部分の分散を捉える主要な時間的モード（主成分）を抽出する。
• レートネットワークの主成分を、スパikingネットワーク内の重なり合うニューロンプールにマッピングし、連続信号を集団に分散させる。
• スパikingネットワークの出力と投影されたターゲットとの誤差を最小化する教師あり学習ルールを用いて、再帰的結合重み（J）および出力重み（W）を訓練する。
• 試行ごとの変動性とスパikingの不規則性を模倣するために、ランダムで固定された再帰的接続（J^f）を組み込む。
• スパikingネットワークのダイナミクスと出力を、レートネットワークおよび実験データ（運動皮膚質およびEMG記録など）と比較して検証する。

実験結果

リサーチクエスチョン

• RQ1 連続変数のレートネットワークのダイナミクスを、ニューロン数の増加を最小限に抑えながら再現できるスパikingニューラルネットワークを訓練できるか？
• RQ2 レートネットワーク活動の主成分を、スパikingネットワークのトレーニングターゲットとして効果的に生成する方法は何か？
• RQ3 生物学的制約付き接続（例：Daleの法則、スパarsity）を持つスパikingネットワークが、複雑な時間的タスクをどの程度再現できるか？
• RQ4 この手法で訓練されたスパikingネットワークのダイナミクスは、実験的神経データ（例：運動皮膚質活動）および行動データ（例：EMG信号）と一致するか？
• RQ5 レートネットワークとスパikingネットワーク活動の主成分の関係は何か？そして、それらはネットワーク機能にどのように関与するか？

主な発見

• 連続変数のレートネットワークの主成分を用いて訓練されたスパikingネットワークは、全ターゲット信号で訓練されたネットワークと同等の正規化誤差を達成しており、主成分がたった12個でも同様の性能を示す。
• レートネットワークおよびスパikingネットワークの上位10個の時間的主成分は、合計分散の90％以上を占め、それらの部分空間間の中央角はわずか5度であり、強いダイナミカルな類似性を示している。
• 本手法により、レートネットワークのユニット数に比べてわずかにニューロン数を増加させるだけで、自律的発振や入力統合といった複雑なタスクを再現できるスパikingネットワークを構築できる。
• スパikingネットワークは、到達タスク中の運動皮膚質活動およびEMG信号の複数の生理的特徴を効果的にモデル化している。
• 連続変数ネットワークは、スパikingレートの直接的近似として機能するのではなく、ネットワーク機能の背後にある主要なダイナミカルモード（主成分）を生成する役割を果たす。
• 本手法により、レートモデルがスパikingネットワークの近似としてではなく、タスク遂行に必要な主要なダイナミカルコンポーネントを特定するためのツールとしての利用が可能になる。