[論文レビュー] A new inference approach for training shallow and deep generalized linear models of noisy interacting neurons

Gabriel Mahuas, Giulio Isacchini+3 more|arXiv (Cornell University)|Jun 11, 2020

Neural dynamics and brain function参考文献 29被引用数 3

ひとこと要約

本論文は、ノイズが多く相互作用するニューロンの一般化線形モデル（GLM）を訓練するための2段階推論手法を導入し、刺激駆動成分とネットワーク結合ダイナミクスを分離する。繰り返し刺激を用いて、刺激に依存しない結合を事前に推定することで、刺激フィルタの訓練前に安定した結合を推定する。このアプローチにより、特に複雑な視覚刺激に対して、モデルの一般化性能、安定性、予測精度が向上する。また、深層畳み込みニューラルネットワーク（CNN）との統合も可能となる。

ABSTRACT

Generalized linear models are one of the most efficient paradigms for predicting the correlated stochastic activity of neuronal networks in response to external stimuli, with applications in many brain areas. However, when dealing with complex stimuli, the inferred coupling parameters often do not generalize across different stimulus statistics, leading to degraded performance and blowup instabilities. Here, we develop a two-step inference strategy that allows us to train robust generalized linear models of interacting neurons, by explicitly separating the effects of correlations in the stimulus from network interactions in each training step. Applying this approach to the responses of retinal ganglion cells to complex visual stimuli, we show that, compared to classical methods, the models trained in this way exhibit improved performance, are more stable, yield robust interaction networks, and generalize well across complex visual statistics. The method can be extended to deep convolutional neural networks, leading to models with high predictive accuracy for both the neuron firing rates and their correlations.

研究の動機と目的

• 異なる刺激統計の間で一般化性能が低い標準GLMの問題を解決し、不安定で非ロバストな結合パラメータを回避する。
• 刺激相関によって引き起こされる誤った結合が原因で生じる自己励起遷移を解消する。
• 複雑な刺激下における網膜および皮膚質ネットワークの相関ノイズと集団応答統計の予測を改善する。
• 深層畳み込みニューラルネットワーク（CNN）をGLMに統合し、平均応答の予測を向上させつつ、集団相関のモデリングを維持する。
• 実験データから神経結合ネットワークの安定的で一般化可能かつ解釈可能な推論を可能にするフレームワークを開発する。

提案手法

• GLM推論を2つの独立したステップに分解する：まず、刺激フィルタを除き、繰り返し刺激試行を用いてニューロン間結合行列を推定する。
• 繰り返し刺激に対する応答を用いて最尤推定により結合パラメータを推定し、刺激統計に依存しないことを保証する。
• 2番目のステップで、結合行列を固定した上で、全データセットを用いて刺激フィルタパラメータ（線形または深層CNNフィルタ）を推定する。
• 安定性基準を適用して推定された結合を制約し、自己励起不安定性を防ぐ。
• 2つの推定結果を統合し、平均発火率と相関を同時に予測する1つの統一GLMを構築する。
• 事前学習済みCNNを用いて刺激処理を実施し、その出力をニューロン固有の結合と履歴フィルタを持つGLM層に接続することで、深層アーキテクチャへの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 刺激相関の影響をGLM推定から分離することで、モデルのロバスト性を向上させることができるか？
• RQ2 刺激フィルタと結合推定を分離することで、異なる視覚統計にわたる一般化性能が向上するか？
• RQ3 この2段階手法により、神経ネットワークダイナミクスにおける自己励起不安定性が軽減されるか？
• RQ4 GLMに深層CNNを統合する際、ノイズ相関と集団相互作用のモデリングがどの程度損なわれないか？
• RQ5 得られたモデルは、網膜のガングリオン細胞における発火率と相関活動の両方の予測精度を向上させるか？

主な発見

• 2段階推定手法により、刺激駆動効果とネットワーク結合が明確に分離され、安定的で刺激に依存しない結合行列が得られた。
• 本手法で訓練されたモデルは、異なる視覚統計にわたって良好に一般化される：移動バーから結合を推定したモデルは、チェッカーボード刺激に対する応答を高精度に予測した。
• 誤ったノイズ相関が低減され、標準GLM訓練で見られる自己励起遷移が完全に排除された。
• 本手法により、深層CNNをGLMに統合可能となり、平均発火率の予測が著しく向上した一方で、集団相関の正確なモデリングが維持された。
• わずか165秒の繰り返しデータでも、結合推定が安定して得られたため、限られた繰り返し試行でも実用可能であると示唆された。
• 自然的で複雑な視覚刺激に対して、古典的GLM訓練と比較して、より高い予測精度と安定性を示した。