[論文レビュー] The Algonauts Project 2023 Challenge: How the Human Brain Makes Sense of Natural Scenes

Alessandro T. Gifford, B. Lahner+7 more|arXiv (Cornell University)|Jan 9, 2023

Cell Image Analysis Techniques被引用数 22

ひとこと要約

2023 Algonauts Challenge は Natural Scenes Dataset (NSD) を用いて視覚脳の計算モデルを構築することを促進し、約73,000 の自然シーンに対する fMRI 応答を比較する公開リーダーボードを提供します。

ABSTRACT

The sciences of biological and artificial intelligence are ever more intertwined. Neural computational principles inspire new intelligent machines, which are in turn used to advance theoretical understanding of the brain. To promote further exchange of ideas and collaboration between biological and artificial intelligence researchers, we introduce the 2023 installment of the Algonauts Project challenge: How the Human Brain Makes Sense of Natural Scenes (http://algonauts.csail.mit.edu). This installment prompts the fields of artificial and biological intelligence to come together towards building computational models of the visual brain using the largest and richest dataset of fMRI responses to visual scenes, the Natural Scenes Dataset (NSD). NSD provides high-quality fMRI responses to ~73,000 different naturalistic colored scenes, making it the ideal candidate for data-driven model building approaches promoted by the 2023 challenge. The challenge is open to all and makes results directly comparable and transparent through a public leaderboard automatically updated after each submission, thus allowing for rapid model development. We believe that the 2023 installment will spark symbiotic collaborations between biological and artificial intelligence scientists, leading to a deeper understanding of the brain through cutting-edge computational models and to novel ways of engineering artificial intelligent agents through inductive biases from biological systems.

研究の動機と目的

• 生物学的知能研究者と人工知能研究者の協力を促進する。
• 大規模なfMRIデータを用いた視覚脳のデータ駆動型モデリングを促進する。
• 自然シーン処理の計算モデルを比較するための透明で公開されたベンチマークを提供する。

提案手法

• 約73,000の自然的カラーシーンに対する高品質なfMRI応答を含む Natural Scenes Dataset (NSD) を活用する。
• NSDデータと整合する視覚脳の計算モデルを構築する。
• 各提出後に自動更新される公開リーダーボードを使用して、透明で迅速なモデル開発を可能にする。
• 生物システムからAIモデルへの帰納的バイアスを促進することで共生的な協力を促す。

実験結果

リサーチクエスチョン

• RQ1 NSDを用いて自然シーンに対する人間のfMRI応答を予測するように計算モデルをどのように訓練できるか？
• RQ2 生物視覚からの帰納的バイアスは、自然な画像理解において人工モデルをどのように改善するか？
• RQ3 公開され継続的に更新されるリーダーボードは、脳と整合するモデルへの収束をより速めることができるか？

主な発見

• 本プロジェクトは、脳-モデル整合のための大規模でデータ豊富なベンチマーク（NSD）を導入する。
• 公開リーダーボードは、モデルと人間の脳データとの迅速で透明な比較を促進する。
• この取り組みは、より良い脳情報AIと深い脳理解の両方を生み出す協力を促進することを目指す。