[論文レビュー] The Algonauts Project 2025 Challenge: How the Human Brain Makes Sense of Multimodal Movies

Alessandro T. Gifford, Domenic Bersch+7 more|arXiv (Cornell University)|Dec 31, 2024

Cognitive Science and Education Research被引用数 8

ひとこと要約

この論文は2025年Algonauts Projectチャレンジを紹介し、映画視聴中のfMRIデータに一般化する多模態脳エンコーディングモデルの開発を目指し、公的リーダーボードとCNeuroModとの協力を含み、CCN 2025セッションに結実する。

ABSTRACT

There is growing symbiosis between artificial and biological intelligence sciences: neural principles inspire new intelligent machines, which are in turn used to advance our theoretical understanding of the brain. To promote further collaboration between biological and artificial intelligence researchers, we introduce the 2025 edition of the Algonauts Project challenge: How the Human Brain Makes Sense of Multimodal Movies (https://algonautsproject.com/). In collaboration with the Courtois Project on Neuronal Modelling (CNeuroMod), this edition aims to bring forth a new generation of brain encoding models that are multimodal and that generalize well beyond their training distribution, by training them on the largest dataset of fMRI responses to movie watching available to date. Open to all, the 2025 challenge provides transparent, directly comparable results through a public leaderboard that is updated automatically after each submission to facilitate rapid model assessment and guide development. The challenge will end with a session at the 2025 Cognitive Computational Neuroscience (CCN) conference that will feature winning models. We welcome researchers interested in collaborating with the Algonauts Project by contributing ideas and datasets for future challenges.

研究の動機と目的

• 人工知能と神経科学研究者の協力を促進するために、多模態脳エンコーディングチャレンジを導入する。
• 映画視聴の最大規模のfMRIデータセットを用いて、訓練分布を超えて一般化するエンコーディングモデルを開発する。
• 公開され自動的に更新されるリーダーボードを通じて、透明で直接比較可能な結果を提供する。
• 迅速なモデル評価を促進し、次世代の脳情報AIの開発を導く。
• 将来の課題に向けたデータセットやアイデアを招待することで協力を促進する。

提案手法

• 映像視聴中に収集された大規模なfMRIデータセット上で、多模態脳エンコーディングモデルを訓練・評価する。
• 提出ごとに自動的に更新される公開リーダーボードを使用して、直接的なモデル比較を可能にする。
• Courtois Project on Neuronal Modelling（CNeuroMod）と協力して、ニューロンモデリングの取り組みを統合する。
• 訓練データを超える多模態刺激へ一般化する能力でモデルを評価する。
• 受賞モデルを特集する会議セッション（CCN 2025）で結論づける。

実験結果

リサーチクエスチョン

• RQ1 映画視聴中のfMRIデータにさらされたとき、訓練分布を超えて一般化するように多模态脳エンコーディングモデルをどのように訓練できるか。
• RQ2 動的で自然主義的な刺激における複数モダリティ間で脳に aligned なエンコーディングを最も適切に捉える評価フレームワークと指標は何か。
• RQ3 公開リーダーボードとオープンデータセットは、脳のような多模態理解へ向けた進歩を加速できるか。
• RQ4 ニューロンモデリングの取り組み（例：CNeuroMod）との協力が、エンコーディングモデルの進展にどのような役割を果たすか。

主な発見

• 本論文は、大規模な映画鑑賞fMRIデータセットを用いた多模態脳エンコーディングの2025年チャレンジ枠組みを提案する。
• 公開の自動更新リーダーボードにより、直接的で比較可能なモデル評価が可能になる。
• チャレンジは全研究者に開放されており、将来の反復のための協力的なアイデアとデータセットを促進する。
• 結果は受賞モデルとともに2025年のCCN（Cognitive Computational Neuroscience）会議で発表される。
• この取り組みは透明性と迅速な反復を重視し、脳インスパイアドAIのモデル開発を導く。