[논문 리뷰] The Algonauts Project 2025 Challenge: How the Human Brain Makes Sense of Multimodal Movies

Alessandro T. Gifford, Domenic Bersch외 7명|arXiv (Cornell University)|2024. 12. 31.

Cognitive Science and Education Research인용 수 8

한 줄 요약

본 논문은 2025년 Algonauts Project 도전을 소개하며, 영화 시청 fMRI 데이터에 일반화되는 다중 모달 뇌 인코딩 모델을 개발하고, 공개 리더보드와 CNeuroMod와의 협력을 통해 CCN 2025 세션으로 정점에 이르는 것을 목표로 한다.

ABSTRACT

There is growing symbiosis between artificial and biological intelligence sciences: neural principles inspire new intelligent machines, which are in turn used to advance our theoretical understanding of the brain. To promote further collaboration between biological and artificial intelligence researchers, we introduce the 2025 edition of the Algonauts Project challenge: How the Human Brain Makes Sense of Multimodal Movies (https://algonautsproject.com/). In collaboration with the Courtois Project on Neuronal Modelling (CNeuroMod), this edition aims to bring forth a new generation of brain encoding models that are multimodal and that generalize well beyond their training distribution, by training them on the largest dataset of fMRI responses to movie watching available to date. Open to all, the 2025 challenge provides transparent, directly comparable results through a public leaderboard that is updated automatically after each submission to facilitate rapid model assessment and guide development. The challenge will end with a session at the 2025 Cognitive Computational Neuroscience (CCN) conference that will feature winning models. We welcome researchers interested in collaborating with the Algonauts Project by contributing ideas and datasets for future challenges.

연구 동기 및 목표

• 다중 모달 뇌 인코딩 도전을 도입함으로써 인공지능 연구자와 신경과학자 간의 협력을 촉진한다.
• 영화 시청의 가장 큰 공개 fMRI 데이터셋을 사용하여 학습 분포를 넘어 일반화되는 인코딩 모델을 개발한다.
• 공개적으로 자동으로 업데이트되는 리더보드를 통해 투명하고 직접 비교 가능한 결과를 제공한다.
• 빠른 모델 평가를 촉진하고 차세대 뇌 기반 AI 개발을 안내한다.
• 향후 도전을 위한 데이터셋과 아이디어를 초대함으로써 협력을 촉진한다.

제안 방법

• 영화 시청 중에 수집된 대규모 fMRI 데이터셋에서 다중 모달 뇌 인코딩 모델을 학습하고 평가한다.
• 각 제출마다 자동으로 업데이트되는 공개 리더보드를 사용하여 직접적인 모델 비교를 가능하게 한다.
• Courtois Project on Neuronal Modelling (CNeuroMod)와 협력하여 신경 모형화의 노력을 결합한다.
• 훈련 데이터를 넘어 다중 모달 자극에 일반화하는 능력으로 모델을 평가한다.
• 승리한 모델들을 특징으로 하는 학술대회 세션(CCN 2025)으로 마무리한다.

실험 결과

연구 질문

• RQ1 영화 시청 fMRI 데이터에 노출되었을 때 학습 분포를 넘어 일반화되도록 다중 모달 뇌 인코딩 모델을 어떻게 학습시킬 수 있는가?
• RQ2 동적이고 자연스러운 자극에서 모듈 간 뇌 정렬 인코딩을 가장 잘 포착하는 평가 프레임워크와 지표는 무엇인가?
• RQ3 공개 리더보드와 개방형 데이터셋이 뇌 유사 다중 모달 이해에 대한 진전을 가속화할 수 있는가?
• RQ4 신경 모형화 이니셔티브(CNeuroMod 등)와의 협력이 인코딩 모델의 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 본 논문은 대규모 영화 시청 fMRI 데이터셋을 활용한 다중 모달 뇌 인코딩을 위한 2025년 도전 프레임워크를 제안한다.
• 공개적으로 자동으로 업데이트되는 리더보드는 직접적이고 비교 가능한 모델 평가를 가능하게 한다.
• 이 도전은 모든 연구자에게 개방되며 향후 차기에 대한 협력 아이디어와 데이터셋을 촉진한다.
• 결과는 2025 Cognitive Computational Neuroscience(CCN) 학술대회에서 승리한 모델들과 함께 발표된다.
• 이 이니셔티티브는 투명성과 신속한 반복을 강조하여 뇌 영감을 받은 AI의 모델 개발을 안내한다.