[논문 리뷰] Scaling laws for decoding images from brain activity

Hubert Banville, Yohann Benchetrit외 3명|ArXiv.org|2025. 01. 25.

Neural Networks and Applications인용 수 3

한 줄 요약

본 논문은 비침습 신경영상 모달리티 네 가지(EEG, MEG, 3T fMRI, 7T fMRI)에서 8개의 공개 데이터셋을 대상으로 단일 트라이얼 이미지 디코딩을 체계적으로 비교하여 데이터 양과 피험자 수에 대한 스케일링 법칙을 도출한다.

ABSTRACT

Generative AI has recently propelled the decoding of images from brain activity. How do these approaches scale with the amount and type of neural recordings? Here, we systematically compare image decoding from four types of non-invasive devices: electroencephalography (EEG), magnetoencephalography (MEG), high-field functional Magnetic Resonance Imaging (3T fMRI) and ultra-high field (7T) fMRI. For this, we evaluate decoding models on the largest benchmark to date, encompassing 8 public datasets, 84 volunteers, 498 hours of brain recording and 2.3 million brain responses to natural images. Unlike previous work, we focus on single-trial decoding performance to simulate real-time settings. This systematic comparison reveals three main findings. First, the most precise neuroimaging devices tend to yield the best decoding performances, when the size of the training sets are similar. However, the gain enabled by deep learning - in comparison to linear models - is obtained with the noisiest devices. Second, we do not observe any plateau of decoding performance as the amount of training data increases. Rather, decoding performance scales log-linearly with the amount of brain recording. Third, this scaling law primarily depends on the amount of data per subject. However, little decoding gain is observed by increasing the number of subjects. Overall, these findings delineate the path most suitable to scale the decoding of images from non-invasive brain recordings.

연구 동기 및 목표

• 뇌 활동으로부터 이미지 임베딩을 디코딩하는 것이 데이터 양과 장치 유형에 따라 어떻게 스케일링되는지 평가한다.
• 일관된 벤치마크를 사용하여 EEG, MEG, 3T fMRI, 7T fMRI 간의 단일 트라이얼 디코딩 성능을 비교한다.
• 학습 데이터 크기, 피험자 수, 테스트 시 평균화가 디코딩 성능에 미치는 영향을 결정한다.
• 잠재 이미지 임베딩을 사용한 디코딩 성능을 평가하고 재구성 및 검색 능력을 평가한다.

제안 방법

• 뇌–이미지 변환 아키텍처 두 가지(M/EEG 및 fMRI 딥러닝 모듈)과 릿지-선형 베이스라인을 사용하여 뇌 활동으로부터 이미지 임베딩을 예측한다.
• 뇌 신호를 이미지 임베딩으로 매핑하기 위해 CLIP 유사한 검색 손실과 재구성 손실을 결합하여 학습한다.
• 8개의 공개 데이터셋에서 단일 트라이얼 성능을 임베딩 간 피어슨 상관계수로 측정하여 평가한다.
• 학습 트라이얼 수와 피험자 수를 바꾸고 녹음 시간 및 테스트 타임 평균화를 추가로 변화시켜 스케일링 법칙을 분석한다.
• 디코딩된 임베딩을 사전 학습된 확산 기반 생성기에 입력하여 이미지를 생성하는 재구성 구현.

실험 결과

연구 질문

• RQ1 EEG, MEG, 3T fMRI, 7T fMRI 전반에서 뇌 데이터의 양에 따라 단일 트라이얼 이미지 디코딩 성능은 어떻게 스케일링되는가?
• RQ2 유사한 학습 데이터를 가정할 때 어떤 신경영상 모달리티가 최상의 디코딩 성능을 보이며, 딥러닝이 이를 어떻게 증폭시키거나 약화시키는가?
• RQ3 피험자 수를 늘리는 것이 디코딩 성능에 어떤 영향을 미치며 수익 체감점이 있는가?
• RQ4 테스트 타임 평균화가 장치 간 디코딩 성능에 어떤 영향을 미치는가?
• RQ5 디코딩된 이미지 임베딩이 이미지 검색 및 재구성을 지원할 수 있으며, 이러한 능력은 기기별로 어떻게 다른가?

주요 결과

• 뇌혈관 혈류 반응 타이밍으로 인해 EEG 및 MEG의 디코딩 성능은 더 빨리 정점에 이르고 fMRI는 더 늦게 정점에 도달한다.
• 딥러닝 디코더는 선형 베이스라인에 비해 상당한 이점을 제공하며, 특히 EEG 및 MEG처럼 노이즈가 큰 장치에서 더 큰 이점을 보인다.
• 뇌 기록 데이터의 양에 대해 디코딩 성능은 로그-선형으로 스케일링되며, 7T fMRI가 가장 강한 스케일링과 전반적으로 최고 성능을 보인다.
• 데이터 증가로 인한 대부분의 이점은 피험자별 데이터에서 나오며, 피험자를 더 추가하는 것에서의 개선은 제한적이다.
• 테스트 타임 평균화는 일관된 성능 향상을 제공하지만 반복 횟수가 증가함에 따라 수익 체감이 나타난다.
• 장치 간 이미지 검색 및 재구성이 가능하며, 반복 및 피험자 간 임베딩을 평균화할수록 재구성이 향상되고 7T fMRI가 가장 우수한 재구성을 제공한다.