[논문 리뷰] Modulating human brain responses via optimal natural image selection and synthetic image generation

Zijin Gu, K. A. Jamison외 2명|PubMed|2023. 04. 18.

Face Recognition and Perception참고 문헌 42인용 수 4

한 줄 요약

이 연구는 fMRI에서 특정 뇌 영역의 활동을 최적화하여 조절할 수 있도록 하는 데이터 기반 프레임워크인 NeuroGen을 소개한다. 이 프레임워크는 딥 생성 모델과 개인화된 신경 인코딩 모델을 활용하여 합성 이미지와 천연 이미지를 설계한다. 그 결과, 군집 수준 및 개인 수준의 모델을 통해 최적화된 합성 이미지가 천연 이미지에 비해 특정 시각 영역—특히 aTLfaces와 FBA1—에서 유의미하게 강한 반응을 유도하는 것으로 나타났으며, 개인화된 모델이 개인별 뇌 활성화 증폭에서 군집 모델을 능가하는 것으로 확인되었다.

ABSTRACT

One of the main goals of neuroscience is to understand how biological brains interpret and process incoming environmental information. Building computational encoding models that map images to neural responses is one way to pursue this goal. Moreover, generating or selecting visual stimuli designed to achieve specific patterns of responses allows exploration and control of neuronal firing rates or regional brain activity responses. Here, we investigated the brain's regional activation selectivity and inter-individual differences in human brain responses to various sets of natural and synthetic (generated) images via two functional MRI (fMRI) studies. For our first fMRI study, we used a pre-trained group-level neural model for selecting or synthesizing images that are predicted to maximally activate targeted brain regions. We then presented these images to subjects while collecting their fMRI data. Our results show that optimized images indeed evoke larger magnitude responses than other images predicted to achieve average levels of activation.Furthermore, the activation gain is positively associated with the encoding model accuracy. While most regions' activations in response to maximal natural images and maximal synthetic images were not different, two regions, namely anterior temporal lobe faces (aTLfaces) and fusiform body area 1 (FBA1), had significantly higher activation in response to maximal synthetic images compared to maximal natural images. On the other hand, three regions; medial temporal lobe face area (mTLfaces), ventral word form area 1 (VWFA1) and ventral word form area 2 (VWFA2), had higher activation in response to maximal natural images compared to maximal synthetic images. In our second fMRI experiment, we focused on probing inter-individual differences in face regions' responses and found that individual-specific synthetic (and not natural) images derived using a personalized encoding model elicited significantly higher responses compared to synthetic images derived from the group-level or other subjects' encoding models. Finally, we replicated the finding showing synthetic images elicited larger activation responses in the aTLfaces region compared to natural image responses in that region. Here, for the first time, we leverage our data-driven and generative modeling framework NeuroGen to probe inter-individual differences in and functional specialization of the human visual system. Our results indicate that NeuroGen can be used to modulate macro-scale brain regions in specific individuals using synthetically generated visual stimuli.

연구 동기 및 목표

• 딥 생성 모델과 신경 인코딩 모델을 활용하여 목표 뇌 영역을 최적화해 자극을 생성하는 프레임워크를 개발하는 것.
• 합성 이미지가 특정 인간 시각 촉수 영역에서 천연 이미지보다 더 강한 fMRI 반응을 유도할 수 있는지 조사하는 것.
• 뇌 반응 패턴의 개인 간 차이를 탐색하고, 개인 맞춤형 인코딩 모델이 개인별로 최적화된 자극 설계에 얼마나 기여하는지 평가하는 것.
• 최적의 이미지 생성을 통해 설계된 합성 자극이 통제된 데이터 기반 방식으로 매크로 스케일 뇌 활동을 안정적으로 조절할 수 있음을 검증하는 것.

제안 방법

• 자연 풍경 데이터셋(NSD)의 fMRI 데이터를 사용하여 주제별 및 군집 수준의 딥 뉴럴 네트워크(DNN) 기반 인코딩 모델을 훈련하였으며, 릿지 회귀를 통해 이미지 특징을 뇌 영역 반응에 매핑하였다.
• 개별 NSD 주제의 데이터에서 훈련된 기본 모델들을 조합하여 선형 앙상블 학습을 통해 개인 맞춤형 인코딩 모델을 구축하였으며, 세션 1의 소규모 사전 데이터를 활용하였다.
• 사전 훈련된 BigGAN-deep 생성기와 인코딩 모델을 결합한 NeuroGen 프레임워크를 적용하여 노이즈 벡터를 최적화함으로써 원하는 뇌 활성화 패턴을 재현하는 손실 함수를 최소화하였다.
• 'Max' 조건에서는 예측된 활성화의 음수값에 더해 노이즈 벡터에 대한 L2 정규화를 적용하였고, 'Avg' 조건에서는 평균 활성화로부터의 절대 차이를 손실로 사용하였다.
• 주제별 랜덤 효과를 고려하여 통계적 유의성을 평가하기 위해 선형 혼합 효과(LME) 모델과 순열 검정을 적용하였다.
• 최종 릿지 회귀 이전에 특징 차원을 감소시키기 위해 가우시안 풀링을 적용하여 모델의 효율성과 일반화 능력을 향상시켰다.

실험 결과

연구 질문

• RQ1 딥 생성 모델과 인코딩 모델 프레임워크를 통해 생성된 합성 이미지가 목표 뇌 영역에서 천연 이미지보다 더 강한 fMRI 반응을 일으킬 수 있는가?
• RQ2 개인별로 유도된 합성 자극은 개인 수준의 인코딩 모델에서 유도된 자극보다 더 높은 활성화를 보일까?
• RQ3 합성 이미지와 천연 이미지에 대한 뇌의 반응에 영역 간 차이가 있으며, 어떤 영역이 합성 자극에 더 민감한가?
• RQ4 기초 인코딩 모델의 정확도는 최적화된 자극에 대한 활성화 증폭의 크기와 어떻게 관련이 있는가?

주요 결과

• 군집 수준의 인코딩 모델을 통해 최적화된 합성 이미지는 모든 테스트된 뇌 영역에서 평균 예측 이미지보다 유의미하게 높은 fMRI 반응을 유도하였으며, 이는 최적화 프레임워크의 유효성을 확인하는 데 기여하였다.
• 전두 측두엽 얼굴 영역(aTLfaces)과 편측 몸 영역 1(FBA1)에서 합성 이미지가 가장 활성화된 천연 이미지보다 유의미하게 더 높은 활성화를 유도하였으며, 이는 합성 자극이 천연 자극을 능가할 수 있음을 시사한다.
• 반대로, 내측 측두엽 얼굴 영역(mTLfaces), 복측 단어 형태 영역 1(VWFA1), VWFA2에서는 천연 이미지가 합성 이미지보다 유의미하게 더 높은 반응을 보였으며, 이는 자극 선호도의 영역 특이성에 대한 중요성을 강조한다.
• 개인 맞춤형 합성 자극은 군집 수준 모델이나 다른 주제의 모델에서 유도된 자극보다 유의미하게 더 높은 fMRI 반응을 유도하였으며, 개인화의 가치를 입증하였다.
• 최적화된 자극에 의한 활성화 증폭은 기초 인코딩 모델의 정확도와 정적 상관관계를 보였으며, 이는 모델 정밀도가 자극 효과성 예측에 기여할 수 있음을 시사한다.
• 이 연구는 이전 연구 결과를 재현하였으며, 합성 자극이 aTLfaces 영역에서 천연 자극보다 더 큰 반응을 일으킬 수 있음을, 이제는 통제된 생성 프레임워크와 개인 수준의 검증을 통해 입증하였다.