[論文レビュー] Fitting summary statistics of neural data with a differentiable spiking network simulator

Guillaume Bellec, Shuqi Wang+3 more|arXiv (Cornell University)|Jun 18, 2021

Neural dynamics and brain function被引用数 5

ひとこと要約

本稿では、神経科学的に関連する要約統計量（PSTH やノイズ相関など）に基づく最大尤度とサンプル・メジャー損失を組み合わせた損失を最小化することで、神経データに適合する微分可能スパイクネットワークシミュレータを提案する。この手法により、確率的スパイクトレインを介した効率的なバックプロパゲーションが可能となり、隠れニューロンが存在する場合でも、従来の尤度ベースの手法よりもはるかに現実的で正確なネットワーク結合性の推定が可能になる。

ABSTRACT

Fitting network models to neural activity is an important tool in neuroscience. A popular approach is to model a brain area with a probabilistic recurrent spiking network whose parameters maximize the likelihood of the recorded activity. Although this is widely used, we show that the resulting model does not produce realistic neural activity. To correct for this, we suggest to augment the log-likelihood with terms that measure the dissimilarity between simulated and recorded activity. This dissimilarity is defined via summary statistics commonly used in neuroscience and the optimization is efficient because it relies on back-propagation through the stochastically simulated spike trains. We analyze this method theoretically and show empirically that it generates more realistic activity statistics. We find that it improves upon other fitting algorithms for spiking network models like GLMs (Generalized Linear Models) which do not usually rely on back-propagation. This new fitting algorithm also enables the consideration of hidden neurons which is otherwise notoriously hard, and we show that it can be crucial when trying to infer the network connectivity from spike recordings.

研究の動機と目的

• 最大尤度推定（MLE）の限界、特に理論的には一貫性があるものの、再帰的スパイクニューロンネットワーク（RSNN）の適合において現実的でない活動を生じがちな点を是正すること。
• 再帰的スパイクニューロンネットワーク（RSNN）の訓練における従来の技術的障壁を克服し、隠れユニットを含むRSNNの訓練を可能にするスケーラブルで微分可能なフレームワークの開発。
• Peristimulus time histograms（PSTH）やノイズ相関（NC）などの神経科学的に関連する要約統計量を損失関数に組み込むことで、モデルの現実性と結合性推定の精度を向上させること。
• 記録されたニューロンのサブセットしか観測できない状況において、隠れニューロンのモデリングが真のネットワーク結合性の再構築に不可欠であることを示すこと。
• 複数の記録セッションからのデータを統合することで、大規模なネットワークの適合を可能にする。この際、一部のニューロンを可視、他の一部を隠れとみなす。

提案手法

• 本手法は、スパイク応答モデル（SRM）に基づく確率的再帰的スパイクニューロンネットワーク（RSNN）の微分可能実装を用いる。スパイク確率は膜電位のシグモイド関数によって計算される。
• スパイクトレインはベルヌーイサンプリングにより確率的に生成され、勾配はストレートスラッシュ勾配推定器を用いて離散的サンプルを介してバックプロパゲートされる。
• 損失関数は、標準的な対数尤度に加え、シミュレートされたと記録された要約統計量（PSTH やノイズ相関など）を比較するサンプル・メジャー損失を組み合わせる。
• 要約統計量は、シミュレートされたおよび記録されたスパイクトレインから計算され、自動微分を用いた勾配降下法によりその不一致を最小化する。
• 隠れニューロンは、その活動（例：発火率）に関するサンプル・メジャー損失を組み込むことで扱われる。これは尤度ベースの適合では制約のない領域である。
• 本手法はPyTorchで実装され、オープンソース化されており、GPU上で完全に微分可能であり、確率的スパイクダイナミクスを介した効率的な訓練が可能である。

実験結果

リサーチクエスチョン

• RQ1 微分可能なスパイクネットワークシミュレータは、最大尤度推定のみに依存する場合と比較して、より現実的なシミュレートされた神経活動を実現できるか？
• RQ2 PSTH やノイズ相関などの要約統計量を損失関数に組み込むことで、ネットワーク結合性の推定精度が向上するか？
• RQ3 微分可能なフレームワークにおいて、隠れニューロンを効果的にモデリングできるか？ これにより、真のネットワーク結合性の再構築が向上するか？
• RQ4 サンプル・メジャーアプローチは、複数の記録セッションからのデータを統合することで、大規模なネットワークにスケーラブルか？
• RQ5 記録されたニューロンがサブセットである状況で、隠れニューロンを含めることで、結合行列の推定誤差が顕著に低減するか？

主な発見

• サンプル・メジャー手法は、特に隠れニューロンが記録された活動に影響を与える場合、最大尤度推定のみに比べて、より現実的なシミュレートされた神経活動を実現する。
• 隠れニューロンを含めた場合、ノイズ相関行列のR²は0.97、結合行列のR²は0.63に達し、完全に可視のネットワーク（R² = 0.97および0.63）に近い性能を示す。
• 隠れニューロンが存在しない場合、本手法は真の結合性を再構築できず、ノイズ相関と結合性の両方のR²が0.1未満にとどまる。これは、隠れニューロンが正確な推定に不可欠であることを示している。
• わずか10個の隠れニューロンでも、結合性のR²が0.1から0.55に向上し、再構築精度が顕著に向上することが示された。
• 本手法は効率的にスケーリング可能である。20セッションにわたる4,995ニューロンのモデルを1台のV100 GPUで36時間で訓練可能であり、大規模な神経ネットワークの適合に実用的であることを示している。
• 本手法は、バックプロパゲーションを用いないGLMベースの手法や、強化学習風の高分散勾配を避ける手法に比べ、安定的かつ効率的な代替手段を提供している。