[논문 리뷰] The Algonauts Project 2021 Challenge: How the Human Brain Makes Sense of a World in Motion

Radoslaw Martin Cichy, Kshitij Dwivedi외 9명|arXiv (Cornell University)|2021. 04. 28.

Visual Attention and Saliency Detection참고 문헌 8인용 수 12

한 줄 요약

알고나우트스 프로젝트 2021 챌린지에서는 일상적인 행동을 묘사하는 1,000개 이상의 자연주의적 영상 클립을 시청하는 동안 10명의 참가자로부터 전체 뇌 반응의 대규모 fMRI 데이터셋을 제공한다. 이 챌린지는 동적인 시각 인식 중 인간의 뇌 활동을 예측함으로써 신경과학과 인공지능 간의 협업을 촉진하며, 뇌에 영감을 받은 모델과 신경 데이터를 직접 비교할 수 있도록 하여 인간과 기계의 시각 지능에 대한 이해를 심화한다.

ABSTRACT

The sciences of natural and artificial intelligence are fundamentally connected. Brain-inspired human-engineered AI are now the standard for predicting human brain responses during vision, and conversely, the brain continues to inspire invention in AI. To promote even deeper connections between these fields, we here release the 2021 edition of the Algonauts Project Challenge: How the Human Brain Makes Sense of a World in Motion (http://algonauts.csail.mit.edu/). We provide whole-brain fMRI responses recorded while 10 human participants viewed a rich set of over 1,000 short video clips depicting everyday events. The goal of the challenge is to accurately predict brain responses to these video clips. The format of our challenge ensures rapid development, makes results directly comparable and transparent, and is open to all. In this way it facilitates interdisciplinary collaboration towards a common goal of understanding visual intelligence. The 2021 Algonauts Project is conducted in collaboration with the Cognitive Computational Neuroscience (CCN) conference.

연구 동기 및 목표

• 인간 시각 인지 모델링을 위한 공통 기준을 마련하여 인공지능과 신경과학 간 격차를 메우기 위해 노력한다.
• 실제 환경에서의 동적인 자연주의적 시각 자극에 대한 전체 뇌 fMRI 반응을 예측하는 과제를 해결한다.
• 투명하고 개방적이며 재현 가능한 챌린지 프레임워크를 통해 인지신경과학과 컴퓨터 비전 간의 다학제적 협업을 촉진한다.
• 복잡하고 움직이는 시각 장면에 대한 신경 반응을 정확하게 예측할 수 있는 뇌에 영감을 받은 AI 모델의 개발을 진전시킨다.

제안 방법

• 10명의 인간 참가자가 일상적인 행동을 묘사하는 1,000개 이상의 짧은 자연주의적 영상 클립을 시청하는 동안 전체 뇌 fMRI 데이터를 수집한다.
• 모델 예측과 실제 신경 반응 간의 직접적인 비교를 가능하게 하기 위해 데이터셋이 전체 뇌에 걸쳐 구성되어 있다.
• 운동, 행동, 환경 전환에 대한 뇌 반응를 캡처하기 위해 참가자들에게 다양한 동적인 시각 자극을 노출시킨다.
• 표준화된 평가 프로토콜을 사용하여 연구자들이 모델을 훈련하고 테스트할 수 있도록 챌린지 형식을 제공하며, 투명성과 재현 가능성을 보장한다.
• 모델은 미리 보지 않은 영상 클립에 대한 fMRI 활동 패턴을 예측할 수 있는 능력에 따라 평가된다.
• 다양한 아키텍처, 특히 딥 네URAL 네트워크와 생물학적으로 유사한 모델을 포함하여 빠른 반복과 벤치마킹을 지원하도록 프레임워크가 설계되어 있다.

실험 결과

연구 질문

• RQ1 인공지능 모델은 얼마나 정확하게 실생활의 동적인 자연주의적 시각 자극에 대한 전체 뇌 fMRI 반응을 예측할 수 있는가?
• RQ2 인간 뇌의 어떤 신경 표현 방식이 동적인 시각 처리를 가장 잘 예측하는가?
• RQ3 뇌에 영감을 받은 AI 모델은 인간의 시각 처리의 시공간적 역학을 어느 정도 재현하는가?
• RQ4 자신감 있는 시각 인식 중 전체 뇌에서 신경 활동을 예측하는 데 있어 다양한 모델 아키텍처는 어떻게 비교되는가?
• RQ5 인공 신경망과 생물학적 신경 표현을 정렬함으로써 어떤 시각 지능에 대한 통찰을 얻을 수 있는가?

주요 결과

• 알고나우트스 프로젝트 2021 챌린지는 1,000개 이상의 자연주의적 영상 클립에 대한 전체 뇌 fMRI 반응을 포함하는 종합적인 데이터셋을 제공하여 동적인 시각 인지의 대규모 모델링을 가능하게 한다.
• 이 데이터셋은 인간 뇌 전역에서 고해상도의 공간 및 시간 해상도로 신경 활동을 예측할 수 있는 모델 개발을 지원한다.
• 이 챌린지 프레임워크는 실제 신경 데이터와의 직접적이고 투명하며 재현 가능한 브렌치마킹을 가능하게 하여 뇌에 영감을 받은 AI 모델의 평가를 지원한다.
• 이 이니셔티브는 인간 뇌가 운동과 동적인 시각 이벤트를 어떻게 처리하는지 이해하는 데 빠른 진전을 이룬다.
• 인지계산신경과학(Cognitive Computational Neuroscience, CCN) 회의와의 협업을 통해 연구 결과가 넓게 배포되고 신경과학 및 AI 연구 공동체에 통합된다.
• 데이터셋과 챌린지의 개방형 접근 방식은 다학제적 혁신을 촉진하고 시각 지능 분야의 발견을 가속화한다.