[論文レビュー] Efficient low-dimensional approximation of continuous attractor networks

Alexander Seeholzer, Moritz Deger+1 more|arXiv (Cornell University)|Nov 21, 2017

Neural Networks Stability and Synchronization参考文献 15被引用数 4

ひとこと要約

本稿では、非線形ダイナミクスを示す連続アトラクターネットワークにおける定常状態の発火レートプロファイルを効率的に近似する低次元パラメータ化手法を提示する。この手法により、発火レートモデルおよびスパikingニューロンモデルの両方において、バンプアトラクターの性質を高速に予測・最適化できる。アプローチにより、高次元のネットワークダイナミクスが取り扱いやすい自己整合的方程式に還元され、フルシミュレーションを伴わずに所望のバンプ形状を得るためのネットワークパラメータの正確なチューニングが可能となる。

ABSTRACT

Continuous "bump" attractors are an established model of cortical working memory for continuous variables and can be implemented using various neuron and network models. Here, we develop a generalizable approach for the approximation of bump states of continuous attractor networks implemented in networks of both rate-based and spiking neurons. The method relies on a low-dimensional parametrization of the spatial shape of firing rates, allowing to apply efficient numerical optimization methods. Using our theory, we can establish a mapping between network structure and attractor properties that allows the prediction of the effects of network parameters on the steady state firing rate profile and the existence of bumps, and vice-versa, to fine-tune a network to produce bumps of a given shape.

研究の動機と目的

• 非線形ダイナミクスを示す連続アトラクターネットワークにおける定常状態の発火レートプロファイルを、一般化可能な手法で効率的に近似すること。
• フル数値シミュレーションを伴わずに、微視的ネットワークパラメータからバンプアトラクターの性質（形状、安定性）を高速に予測できること。
• 計算的に効率的な最適化を用いて、所望のバンプ形状を得るための逆設計（ネットワークパラメータのチューニング）を可能にすること。
• NMDA感受性や適応といった生物学的に重要な非線形性を保持しつつ、次元削減を施したmean-fieldアプローチを連続アトラクターに拡張すること。
• 簡略化された発火レートモデルおよび複雑なコンダクタンスベースのイントゥグレート・アンド・ファイアースパikingネットワークの両方において、手法の妥当性を検証すること。

提案手法

• 空間的発火レートプロファイルを低次元の基底（例：ガウスモードまたはフーリエモード）でパラメータ化することで、系の有効次元を低減する。
• 低次元パラメータの関数として平均膜電位および発火レートを表現することにより、ネットワークの定常状態に対する自己整合的方程式を導出する。
• 入力統計（平均および分散）から発火レートを計算するためのSiegert公式を用いることで、集団活動の効率的計算を可能にする。
• フルシミュレーションと比較して著しく計算コストを削減できるように、低次元パラメータ空間における数値最適化を実行し、バンプ形状の予測やチューニングを実現する。
• 発火レートモデルおよびスパikingニューロンモデルの両方において、フルネットワークシミュレーションとの比較を通じて、手法の妥当性を検証する。
• 電圧依存性NMDAシナプス、適応、コンダクタンスベースのダイナミクスといった、生体物理学的に現実的な特徴を、近似フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 非線形ニューロンダイナミクスを示す連続アトラクターネットワークにおける定常状態の発火レートプロファイルを、低次元パラメータ化によって正確に予測できるか？
• RQ2 フルシミュレーションと比較して、この手法がネットワークパラメータがバンプ形状および存在に与える影響をどの程度効率的に予測できるか？
• RQ3 この手法を用いて、全範囲のシミュレーションを実施せずに、所望のバンプ形状を得るためのネットワークパラメータを設計できるか（逆問題の解法）？
• RQ4 NMDAコンダクタンスや適応といった複雑な生体物理学的特徴を含めた場合、近似の正確さはどの程度維持されるか？
• RQ5 この手法は、スパikingニューロンモデルを含むさまざまなネットワークアーキテクチャおよびパラメータ領域において、どのようにスケーリングするか？

主な発見

• 低次元パラメータ化により、発火レートモデルおよびコンダクタンスベースのスパikingネットワークの両方において、バンプアトラクターのプロファイルを正確に予測できた。テストされた設定では、予測誤差は10%未満であった。
• 低次元手法を用いた場合、所望のバンプ形状を得るためのネットワークパラメータの最適化が数秒で達成されたが、フルシミュレーションでは数時間から数日を要した。
• この手法は、解析的に取り扱いにくい非線形NMDAキネティクスおよび適応の影響が、バンプの安定性および幅に与える影響をうまく捉えた。
• スパikingネットワークのシミュレーションにおいて、予測された発火レートプロファイルは、特に広く安定したバンプにおいて、シミュレーション結果と高い整合性を示した。
• 最適化問題の有効次元を複数桁低減できたため、ネットワークパラメータの効率的逆設計が可能になった。
• このアプローチは、距離依存接続性や異種のシナプスダイナミクスを有するネットワークアーキテクチャにも一般化可能であった。