[論文レビュー] The Dynamic Sensorium competition for predicting large-scale mouse visual cortex activity from videos

Polina Turishcheva, Paul G. Fahey+11 more|arXiv (Cornell University)|May 31, 2023

Neural dynamics and brain function被引用数 11

ひとこと要約

この論文は SENSORIUM 2023 ベンチマークを紹介します — 大規模で動的刺激–応答データセットと、動画からマウス視覚皮質の単一ニューロン活動を予測する競技。イン-domain と out-of-domain (OOD) 評価を含み、行動入力も含む。

ABSTRACT

Understanding how biological visual systems process information is challenging due to the complex nonlinear relationship between neuronal responses and high-dimensional visual input. Artificial neural networks have already improved our understanding of this system by allowing computational neuroscientists to create predictive models and bridge biological and machine vision. During the Sensorium 2022, we introduced benchmarks for vision models with static input. However, animals operate and excel in dynamic environments, making it crucial to study and understand how the brain functions under these conditions. Moreover, many biological theories, such as predictive coding, suggest that previous input is crucial for current input processing. Currently, there is no standardized benchmark to identify state-of-the-art dynamic models of the mouse visual system. To address this gap, we propose the Sensorium 2023 Benchmark Competition with dynamic input. It includes the collection of a new large-scale dataset from the primary visual cortex of ten mice, containing responses from over 78,000 neurons to over 2 hours of dynamic stimuli per neuron. Participants in the main benchmark track will compete to identify the best predictive models of neuronal responses for dynamic input. We will also host a bonus track in which submission performance will be evaluated on out-of-domain input, using withheld neuronal responses to dynamic input stimuli whose statistics differ from the training set. Both tracks will offer behavioral data along with video stimuli. As before, we will provide code, tutorials, and strong pre-trained baseline models to encourage participation. We hope this competition will continue to strengthen the accompanying Sensorium benchmarks collection as a standard tool to measure progress in large-scale neural system identification models of the entire mouse visual hierarchy and beyond.

研究の動機と目的

• マウスの視覚系における動的神経予測の標準化ベンチマークを動機づけ、定式化する。
• 複数のマウスにまたがる動的視覚刺激、神経応答、および行動の大規模データセットを提供する。
• 時系列ダイナミクスを扱い、異なるドメインの刺激へ一般化する予測モデルの開発を促す。
• 神経応答に対する調節因子を反映するため、行動変数をモデル入力として組み込む。

提案手法

• 動画刺激 x と行動 b を時間とともに 神経応答 r に写像する動的予測モデリングフレームワーク f_theta(x,b) を導入する。
• 大規模データセットを提供する：五匹のマウス、38,819ニューロン、約600分の動的刺激、訓練/検証/ライブテスト/最終テストの分割。
• ベースラインモデルのアーキテクチャを説明する：2D CNN コアと Gaussian 読出しを備えた GRU ベースライン；動的コアと Gaussian 読出しを備えた 3D ファクタライズドベースライン；アンサンブルベースライン。
• データの読み込みとモデル訓練のためのチュートリアル、コード、APIを含むスターティングキットを提供する。
• 評価指標を定義する：本線の自然動画最終テストセットでの単一試行相関、OOD テスト5セットに対する同じ指標（ボーナストラック用）；平均値との相関も報告。

実験結果

リサーチクエスチョン

• RQ1 ビデオと行動を入力として用いた場合、マウスの動的自然映画刺激に対する単一ニューロンの予測性能の上限はどこか？
• RQ2 動的モデルは時間的に変化する神経Activityを予測する際、静的または非時系列ベースラインとどう比較されるか？
• RQ3 行動変数（ locomotion、 pupil size、 eye position ）を組み込むと予測精度は向上するか？
• RQ4 ドメイン内自然動画で訓練されたモデルは、統計が異なるアウト・オブ・ドメイン刺激へ一般化するか？
• RQ5 マウス視覚皮質の時空間ダイナミクスを最もよく捉えるアーキテクチャと訓練手順は何か？

主な発見

• 五匹のマウスにまたがる38,819ニューロンを含む大規模データセットが公開され、約600分の動的刺激を含む。
• ベースラインモデル（GRU、3D Factorized、アンサンブル）は性能が異なり、保持アウトテストデータでは通常アンサンブルベースラインが単一ベースラインを上回る。
• 競技は静止画像より動的入力（動画）を強調し、アウトオブドメイン評価のボーナストラックを含む。
• 行動変数が予測モデルへの入力として含まれ、神経活動への調節効果を反映する。
• 性能は自然動画最終テストセットでの単一試行相関（本線）および複数のOOD刺激に対する相関（ボーナストラック）で評価される。
• 論文は参加を促進し、チーム間の標準化を図るためのスターティングキット、チュートリアル、事前学習済みベースラインを提供する。