[論文レビュー] Trial matching: capturing variability with data-constrained spiking neural networks

Christos Sourmpis, Carl C.H. Petersen+2 more|arXiv (Cornell University)|Jun 6, 2023

Neural dynamics and brain functionNeuroscience被引用数 3

ひとこと要約

本論文は、最適輸送に基づく試行マッチングを用いて、神経活動および行動データの試行間変動を捉えるデータ制約付き再帰的スパikingニューラルネットワーク（RSNN）を提案する。28セッションにわたる6つの皮質領域からのデータを統合的に最適化することで、事前に低次元の潜在構造を仮定せずに、現実的で解釈可能な変動モード（例えば、タスクに無関係な運動を含む）を生成する。

ABSTRACT

Simultaneous behavioral and electrophysiological recordings call for new methods to reveal the interactions between neural activity and behavior. A milestone would be an interpretable model of the co-variability of spiking activity and behavior across trials. Here, we model a mouse cortical sensory-motor pathway in a tactile detection task reported by licking with a large recurrent spiking neural network (RSNN), fitted to the recordings via gradient-based optimization. We focus specifically on the difficulty to match the trial-to-trial variability in the data. Our solution relies on optimal transport to define a distance between the distributions of generated and recorded trials. The technique is applied to artificial data and neural recordings covering six cortical areas. We find that the resulting RSNN can generate realistic cortical activity and predict jaw movements across the main modes of trial-to-trial variability. Our analysis also identifies an unexpected mode of variability in the data corresponding to task-irrelevant movements of the mouse.

研究の動機と目的

• ミリ秒単位の精度で皮質感覚運動路を模倣する生物学的に解釈可能な大規模RSNNの開発。
• 複数の記録セッションにわたる神経スパイク活動および行動の試行間変動をマッチングする課題の解決。
• 低次元の潜在ダイナミクスに関する事前の仮定を避けるために、非構造的ノイズから構造的で現実的な変動を学習できるネットワークの構築。
• 勾配ベース最適化を用いたマルチセッションデータ上で神経活動と行動の共同モデリングの実現。
• 仮説フリーなアプローチにより、タスクに無関係な運動を含む変動の背後にある回路メカニズムの同定。

提案手法

• 漏れ積算・発火型ニューロン、2–4 msのシナプス遅延、興奮性・抑制性ニューロンタイプを含む生物学的に制約されたダイナミクスを持つ大規模再帰的スパイクニューラルネットワーク（RSNN）を採用。
• 最適輸送に基づく新しい試行マッチング損失関数を用いて勾配ベース最適化で訓練し、実測された神経活動および下顎運動の試行分布をマッチング。
• 試行間の距離を最適割り当てとスパイク列および運動の統計（例：平均、分散）を用いて、生成された試行分布と記録された試行分布の間で計算。
• 試行固有の潜在変数や低次元ダイナミクスに関する事前の仮定を必要とせず、マルチセッションデータ（28セッション、6つの皮質領域）上でエンドツーエンドの訓練が可能。
• 非構造的ノイズ（ガウス入力および確率的スパイク）を入力として組み込み、ノイズを構造的で現実的な試行間変動に変換可能に。
• 代替損失関数（尤度ベースおよびGANベース）も評価されたが、試行マッチングはディスクライマーのチューニングを必要とせず、より安定で数値的に安定した性能を示した。

Figure 1: Modeling trial-variability in electrophysiological recordings. A . During a delayed whisker detection task, the mouse should report the sensation of a whisker stimulation by licking to obtain a water reward. Neural activity and behavior of the mouse are recorded simultaneously. B . A recur

実験結果

リサーチクエスチョン

• RQ1 データ制約付きRSNNは、複数の記録セッションにわたって神経活動および行動の現実的な試行間変動を生成できるか？
• RQ2 低次元の潜在変数を仮定せずに、解釈可能な回路メカニズムが回復可能か？
• RQ3 非構造的ノイズ源は、神経的および行動的出力における構造的変動を生成する上で果たす役割は何か？
• RQ4 最適輸送に基づく試行マッチング損失は、尤度ベースやGANベースの代替手法と比較して、マルチセッションRSNNの適合性において優れているか？
• RQ5 モデルは、自発的運動を含むタスクに無関係な行動的変動を、別個の変動モードとして同定できるか？

主な発見

• RSNNは、6つの皮質領域から得られた28セッションにわたる神経活動および下顎運動の主な試行間変動モードを成功裏に捉えた。
• 事前に潜在構造に関する仮定を設けず、リアルなスパイクパターンを生成し、ミス試行でさえも高精度で下顎運動を予測した。
• 想定外の変動モードが同定された：マウスのタスクに無関係な運動であり、モデルはこれを試行分布の一部として成功裏に再現した。
• 最適輸送に基づく試行マッチング損失は、尤度ベースおよびGANベースの代替手法を上回り、特にマルチセッション設定において安定性と性能に優れた。
• 低次元の潜在入力（例：5次元のガウスノイズ）を追加すると最適化が加速したが、最終的な性能は向上しなかったため、ネットワーク自体が現実的な変動を生成可能であることが示唆された。
• UMAP可視化により、試行分布に低次元多様体が存在することが判明し、明示的な構造的制約がなくても、ネットワークダイナミクスから自然に構造的変動が生じることを示した。

Figure 2: Artificial Dataset. A . Session stitching: every neuron from the recordings is uniquely mapped to a neuron from our model. For example, an excitatory neuron from our model that belongs in the putative A1 is mapped to an excitatory neuron “recorded” in A1. In our network, we constrain the c