[論文レビュー] The Algonauts Project 2021 Challenge: How the Human Brain Makes Sense of a World in Motion

Radoslaw Martin Cichy, Kshitij Dwivedi+9 more|arXiv (Cornell University)|Apr 28, 2021

Visual Attention and Saliency Detection参考文献 8被引用数 12

ひとこと要約

Algonauts Project 2021 Challenge は、日常的な出来事を描写する1,000以上の自然主義的映像クリップを視聴している10名の参加者からの全脳応答の大型 fMRI データセットを提供する。このチャレンジは、動的な視覚認識における人間の脳活動を予測することを目的としており、脳科学と AI 間の協働を促進する。脳にインspiredされたモデルと神経データを直接比較することで、人間および機械における視覚知能の理解を進める。

ABSTRACT

The sciences of natural and artificial intelligence are fundamentally connected. Brain-inspired human-engineered AI are now the standard for predicting human brain responses during vision, and conversely, the brain continues to inspire invention in AI. To promote even deeper connections between these fields, we here release the 2021 edition of the Algonauts Project Challenge: How the Human Brain Makes Sense of a World in Motion (http://algonauts.csail.mit.edu/). We provide whole-brain fMRI responses recorded while 10 human participants viewed a rich set of over 1,000 short video clips depicting everyday events. The goal of the challenge is to accurately predict brain responses to these video clips. The format of our challenge ensures rapid development, makes results directly comparable and transparent, and is open to all. In this way it facilitates interdisciplinary collaboration towards a common goal of understanding visual intelligence. The 2021 Algonauts Project is conducted in collaboration with the Cognitive Computational Neuroscience (CCN) conference.

研究の動機と目的

• 人間の視覚認識をモデル化するための共通ベンチマークを創出することで、人工知能と脳科学の間の溝を埋めること。
• 現実世界の文脈における動的な自然主義的視覚刺激に対する全脳 fMRI 応答を予測するという課題に取り組むこと。
• 透明でオープンかつ再現可能である挑戦フレームワークを通じて、認知神経科学とコンピュータビジョンの間の学際的協力を促進すること。
• 複雑で動的な視覚シーンに対する神経応答を正確に予測できる脳にインspiredされた AI モデルの開発を進める。

提案手法

• 参加者10名が日常的な出来事を描写する1,000以上の短い自然主義的映像クリップを視聴している間、全脳 fMRI データを収集する。
• データセットは、脳全体における実際の神経応答とモデルの予測を直接比較できる構造になっている。
• 動き、行動、シーンの遷移に対する神経応答を捉えるために、多様な動的視覚刺激に参加者をさらす。
• チャレンジ形式により、研究者が標準化された評価プロトコルを用いてモデルを訓練およびテストでき、透明性と再現性が保証される。
• モデルは、未観測の映像クリップに対する fMRI 応答パターンをどれだけ正確に予測できるかで評価される。
• フレームワークは、深層ニューラルネットワークや生物学的にインspiredされたモデルを含む、多様なアーキテクチャにおける迅速な反復とベンチマークを支援するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 人工知能モデルは、動的で現実世界の視覚刺激に対する全脳 fMRI 応答をどれほど正確に予測できるか？
• RQ2 人間の脳におけるどの神経表現が、動的視覚処理において最も予測的か？
• RQ3 脳にインspiredされた AI モデルは、人間の視覚処理の空間的・時間的ダイナミクスをどの程度再現できるか？
• RQ4 自然な視覚における脳全体の神経活動を予測する際、異なるモデルアーキテクチャはどのように比較されるか？
• RQ5 人工的および生物学的神経表現を一致させることで、視覚知能についてどのような知見が得られるか？

主な発見

• Algonauts Project 2021 Challenge は、1,000以上の自然主義的映像クリップに対する全脳 fMRI 応答の包括的データセットを提供し、動的視覚認識の大規模モデリングを可能にする。
• このデータセットは、人間の脳全体にわたり高い空間的・時間的忠実度で神経活動を予測できるモデルの開発を支援する。
• チャレンジフレームワークにより、実際の神経データに対する脳にインspiredされた AI モデルの直接的で透明かつ再現可能なベンチマークが可能になる。
• このイニシアチブにより、人間の脳が動きや動的視覚的出来事の処理をどのように行っているかを理解する上で急速な進展が見込まれる。
• 認知計算神経科学（CCN）会議との連携により、研究コミュニティへの広範な普及と統合が保証される。
• データセットおよびチャレンジのオープンアクセス性により、学際的イノベーションが促進され、視覚知能分野における発見が加速する。