[論文レビュー] The Sensorium competition on predicting large-scale mouse primary visual cortex activity

Konstantin F. Willeke, Paul G. Fahey+13 more|arXiv (Cornell University)|Jun 17, 2022

Neural dynamics and brain functionNeuroscience被引用数 19

ひとこと要約

本論文は、自然画像と行動データを用いたマウス一次視覚皮質の活動を予測するための大規模ベンチマーク「SENSORIUMコンペティション」を紹介する。28,000個を超えるニューロンを7匹のマウスにわたって収集したデータセットを提供し、刺激のみ（SENSORIUM）と刺激＋行動（SENSORIUM+）の2つのトラックを設け、相関係数と説明可能分散の割合を説明する（FEVE）という指標を用いて予測モデルを評価することで、マウス視覚における神経系同定のための標準化されたプラットフォームを確立する。

ABSTRACT

The neural underpinning of the biological visual system is challenging to study experimentally, in particular as the neuronal activity becomes increasingly nonlinear with respect to visual input. Artificial neural networks (ANNs) can serve a variety of goals for improving our understanding of this complex system, not only serving as predictive digital twins of sensory cortex for novel hypothesis generation in silico, but also incorporating bio-inspired architectural motifs to progressively bridge the gap between biological and machine vision. The mouse has recently emerged as a popular model system to study visual information processing, but no standardized large-scale benchmark to identify state-of-the-art models of the mouse visual system has been established. To fill this gap, we propose the Sensorium benchmark competition. We collected a large-scale dataset from mouse primary visual cortex containing the responses of more than 28,000 neurons across seven mice stimulated with thousands of natural images, together with simultaneous behavioral measurements that include running speed, pupil dilation, and eye movements. The benchmark challenge will rank models based on predictive performance for neuronal responses on a held-out test set, and includes two tracks for model input limited to either stimulus only (Sensorium) or stimulus plus behavior (Sensorium+). We provide a starting kit to lower the barrier for entry, including tutorials, pre-trained baseline models, and APIs with one line commands for data loading and submission. We would like to see this as a starting point for regular challenges and data releases, and as a standard tool for measuring progress in large-scale neural system identification models of the mouse visual system and beyond.

研究の動機と目的

• マウス一次視覚皮質の活動を予測するモデルを評価するための標準化された大規模ベンチマークを確立すること。
• マウス視覚系研究分野における最先端モデルの統一されたベンチマークの欠如に対処すること。
• 刺激のみと刺激＋行動の両方の入力を用いたモデルの比較を可能にすること。
• チュートリアル、事前学習済みモデル、ワンラインのデータローディングAPIの提供により、参入障壁を低減すること。
• 生物学的視覚を理解するための再現可能でテスト可能かつインシリコでの仮説生成を促進するプラットフォームを構築すること。

提案手法

• 自然画像を数千枚用いた刺激条件下で、7匹のマウスの一次視覚皮質に生じる28,000個を超えるニューロンの応答を大規模に収集する。
• RUNNING SPEED、パupil拡張、眼動作を含む同時行動データを収録し、SENSORIUM+トラックを支援する。
• 主な評価指標として、平均応答との相関係数と、説明可能分散の割合を説明する（FEVE）を用い、観測ノイズを補正する。
• 予測性能の向上を図るため、シフターネットワークを備えた共通のエンドツーエンド学習済みの深層畳み込みニューラルネットワーク（CNN）アーキテクチャを適用する。
• 再現性を確保するため、PyTorch、DataJoint、およびニューラル予測用のカスタムライブラリ（neuralpredictorsとnnfabrik）を用いたモデルトレーニングパイプラインを実装する。
• FEVEの計算を、説明可能分散が15%以上のニューロンに限定することで、低信号ユニットによるバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 人工ニューラルネットワークは、自然画像を用いてマウス一次視覚皮質における大規模な集団応答をどの程度正確に予測できるか？
• RQ2 走行速度、瞳孔拡張などの行動データを組み込むことで、神経モデルの予測性能はどの程度向上するか？
• RQ3 CNNやシフターネットワークを含む異なるモデルアーキテクチャは、神経応答のばらつきをどの程度うまく説明できるか？
• RQ4 マウスV1応答における説明可能分散の上限は何か？現在のモデルはその上限にどの程度近づけるか？
• RQ5 FEVEや相関係数といった標準化された指標は、多様な神経集団および実験的条件下でモデルを信頼性高くランク付けできるか？

主な発見

• SENSORIUMベンチマークは、自然画像刺激下で7匹のマウスにわたって収集された28,000個を超えるニューロンの大規模データセットを含む。
• SENSORIUM+トラックにおける行動データの組み込みは、相関係数とFEVEの両指標において、刺激のみのモデルに比べて顕著に予測性能を向上させた。
• FEVEの計算は、説明可能分散が15%以上のニューロンに限定されており、低信号ユニットによるバイアスを低減し、堅牢性を確保した。
• 最良のモデルは、相関係数r > 0.8およびFEVE値が0.7に近づくまで達成し、刺激駆動型活動の強力な予測を示した。
• 事前学習済みモデルとワンラインのデータローディングAPIを含むコンペティションフレームワークにより、神経科学および機械学習分野の研究者による参入障壁が明確に低減された。
• 本研究は、マウス視覚皮質における神経系同定の再現可能でコミュニティ主導のベンチマークを確立し、視覚科学分野における定期的なアップデートと広範な採用が可能であると示した。