[논문 리뷰] The Algonauts Project 2023 Challenge: How the Human Brain Makes Sense of Natural Scenes

Alessandro T. Gifford, B. Lahner외 7명|arXiv (Cornell University)|2023. 01. 09.

Cell Image Analysis Techniques인용 수 22

한 줄 요약

The 2023 Algonauts Challenge promotes building computational models of the visual brain using the Natural Scenes Dataset (NSD) and a public leaderboard to compare fMRI responses to ~73,000 natural scenes.

ABSTRACT

The sciences of biological and artificial intelligence are ever more intertwined. Neural computational principles inspire new intelligent machines, which are in turn used to advance theoretical understanding of the brain. To promote further exchange of ideas and collaboration between biological and artificial intelligence researchers, we introduce the 2023 installment of the Algonauts Project challenge: How the Human Brain Makes Sense of Natural Scenes (http://algonauts.csail.mit.edu). This installment prompts the fields of artificial and biological intelligence to come together towards building computational models of the visual brain using the largest and richest dataset of fMRI responses to visual scenes, the Natural Scenes Dataset (NSD). NSD provides high-quality fMRI responses to ~73,000 different naturalistic colored scenes, making it the ideal candidate for data-driven model building approaches promoted by the 2023 challenge. The challenge is open to all and makes results directly comparable and transparent through a public leaderboard automatically updated after each submission, thus allowing for rapid model development. We believe that the 2023 installment will spark symbiotic collaborations between biological and artificial intelligence scientists, leading to a deeper understanding of the brain through cutting-edge computational models and to novel ways of engineering artificial intelligent agents through inductive biases from biological systems.

연구 동기 및 목표

• 생물학적 지능 연구자와 인공지능 연구자 간의 협력 촉진.
• 대규모 fMRI 데이터를 이용한 시각 뇌의 데이터 기반 모델링 촉진.
• 자연 장면 처리의 계산 모델을 비교하기 위한 투명하고 공개된 벤치마크 제공.

제안 방법

• 고품질의 fMRI 반응을 담은 ~73,000개의 자연색 채색 장면으로 구성된 Natural Scenes Dataset (NSD)을 활용합니다.
• NSD 데이터와 일치하는 시각 뇌의 계산 모델 구축.
• 제출 후 자동으로 업데이트되는 공개 리더보드를 사용하여 투명하고 빠른 모델 개발 가능.
• 생물학적 시스템의 귀납 편향을 AI 모델로 촉진하여 공생적 협력 장려.

실험 결과

연구 질문

• RQ1 NSD를 사용하여 자연 장면에 대한 인간의 fMRI 반응을 예측하도록 계산 모델을 어떻게 학습시킬 수 있는가?
• RQ2 생물학적 시각에서의 어떤 귀납 편향이 자연주의적 이미지 이해에서 인공 모델을 향상시키는가?
• RQ3 공개적이고 지속적으로 업데이트되는 리더보드가 뇌-일치 모델로의 더 빠른 수렴을 촉진할 수 있는가?

주요 결과

• 본 연구는 뇌-모델 정렬을 위한 대규모 데이터 풍부 벤치마크(NSD)를 도입합니다.
• 공개 리더보드는 인간 뇌 데이터에 대한 모델의 빠르고 투명한 비교를 촉진합니다.
• 이 이니셔티브는 더 나은 뇌 기반 AI와 더 깊은 뇌 이해를 모두 창출하는 협력을 촉진하는 것을 목표로 합니다.