[논문 리뷰] Brain Diffusion for Visual Exploration: Cortical Discovery using Large Scale Generative Models

Andrew F. Luo, Margaret M. Henderson외 2명|arXiv (Cornell University)|2023. 06. 05.

Cell Image Analysis Techniques인용 수 6

한 줄 요약

BrainDiVE는 특정 시각 촉수 영역을 자극할 것으로 예측되는 이미지를 합성하기 위해 fMRI 뇌 활동으로 유도된 대규모 확산 모델을 사용하는 데이터 기반 생성 프레임워크를 소개한다. 텍스트 프롬프트 대신 뇌 활동 최적화를 사용함으로써, 이 방법은 세분화된 기능 특이성을 드러내고, 카테고리 선택성 영역 내에서 새로운 부분 영역을 식별하며, 행동 연구를 통해 결과를 검증함으로써 인간 시각皮質 조직의 가설 없는 탐색을 발전시킨다.

ABSTRACT

A long standing goal in neuroscience has been to elucidate the functional organization of the brain. Within higher visual cortex, functional accounts have remained relatively coarse, focusing on regions of interest (ROIs) and taking the form of selectivity for broad categories such as faces, places, bodies, food, or words. Because the identification of such ROIs has typically relied on manually assembled stimulus sets consisting of isolated objects in non-ecological contexts, exploring functional organization without robust a priori hypotheses has been challenging. To overcome these limitations, we introduce a data-driven approach in which we synthesize images predicted to activate a given brain region using paired natural images and fMRI recordings, bypassing the need for category-specific stimuli. Our approach -- Brain Diffusion for Visual Exploration ("BrainDiVE") -- builds on recent generative methods by combining large-scale diffusion models with brain-guided image synthesis. Validating our method, we demonstrate the ability to synthesize preferred images with appropriate semantic specificity for well-characterized category-selective ROIs. We then show that BrainDiVE can characterize differences between ROIs selective for the same high-level category. Finally we identify novel functional subdivisions within these ROIs, validated with behavioral data. These results advance our understanding of the fine-grained functional organization of human visual cortex, and provide well-specified constraints for further examination of cortical organization using hypothesis-driven methods.

연구 동기 및 목표

• 고도의 시각 피질 기능 조직도를 매핑하는 데 있어 수작업으로 제작된 자극의 한계를 극복하기 위해.
• 실제 fMRI 데이터에 조건부인 생성 모델을 사용하여 데이터 기반, 가설 없는 피질 선택성 탐색을 가능하게 하기 위해.
• 기존의 카테고리 선택성 ROI 내에서 세분화된 기능 특이성과 새로운 하위영역을 식별하기 위해.
• 행동 실험을 통해 합성된 이미지의 의미를 검증하여 생태학적 및 지각적 관련성을 확보하기 위해.
• 대규모 생성 AI를 사용하여 인간 시각 피질의 기능 조직을 발견하는 데 새로운 객관적 방법을 제공하기 위해.

제안 방법

• 이 방법은 텍스트 프롬프트가 아니라 특정 뇌 영역의 fMRI 병렬체 활동 패턴에 조건부인 사전 훈련된 확산 모델을 사용한다.
• 뇌 유도 이미지 생성을 기울기 최적화 문제로 공식화하며, CLIP 임베딩 정렬을 통해 목표 뇌 영역의 활성도를 최대화한다.
• 모델은 CLIP 이미지 임베딩을 fMRI 반응에 선형 피팅한 각 병렬체 가중치 벡터의 평균 기반으로 기울기를 계산하여, 실제로 뇌 신호를 조건 신호로 활용한다.
• 최적화 과정은 목표 뇌 영역의 병렬체 가중치 방향의 조합 방향과 일치하도록 생성된 이미지의 CLIP 임베딩 방향을 반복적으로 정밀 조정한다.
• 합성된 이미지는 자연 이미지 사전 지식과 뇌 활성도 제약 조건을 모두 만족하도록 확산 과정을 최적화하여 생성된다.
• 이 방법은 자연 풍경 이미지의 대규모 fMRI 데이터셋을 활용하여 현실적이고 생태학적으로 타당한 자극 생성을 가능하게 한다.

Figure 1: Images generated using BrainDiVE . Images are generated using a diffusion model with maximization of voxels identified from functional localizer experiments as conditioning. We find that brain signals recorded via fMRI can guide the synthesis of images with high semantic specificity, stren

실험 결과

연구 질문

• RQ1 fMRI 유도 확산 모델은 알려진 카테고리 선택성 시각 피질 영역(예: 펄스포름 얼굴 영역, 파라히포크암프 장소 영역)을 고도로 선택적으로 자극할 것으로 예측되는 이미지를 생성할 수 있는가? 특히 의미 특이성이 높은가?
• RQ2 이러한 방법은 같은 고수준 카테고리(예: 얼굴 또는 장소)에 대해 선택성을 보이는 뇌 영역 간의 기능적 차이를 드러낼 수 있는가?
• RQ3 기존의 카테고리 선택성 ROI 내에서 전통적 자극 세트로는 탐지할 수 없는 새로운 기능 하위구역을 식별할 수 있는가?
• RQ4 합성된 이미지는 인간 관찰자에게 일관된 지각 반응을 유도하는가? 이는 그들의 의미 정체성과 생태학적 관련성을 확인하는 데 기여하는가?
• RQ5 뇌 유도 이미지 합성은 인간 시각 피질의 세분화된 기능 구조에 대해 새로운, 검증 가능한 가설을 제공할 수 있는가?

주요 결과

• BrainDiVE는 잘 알려진 카테고리 선택성 영역(예: 펄스포름 얼굴 영역, 파라히포크암프 장소 영역)을 고도로 선택적으로 자극하는 이미지를 성공적으로 생성하여 의미 특이성이 높음을 입증했다.
• 이 방법은 동일한 고수준 카테고리 내에서도 기능적 특이성을 드러내었으며, 예를 들어 얼굴 및 장소 선택성 영역 간의 객체 구성과 공간적 맥락에 대한 민감도의 차이를 확인했다.
• 기존 ROI 내에서 새로운 기능 하위구역이 식별되었으며, 예를 들어 복합 카테고리 레이블을 넘어서 특정 시각적 특징에 대해 다르게 민감한, 복합 측두 피질 내 부분 영역이 발견되었다.
• 행동 연구 결과, 인간 참가자들이 합성된 이미지의 의미적 내용을 정확히 분류하는 것으로 확인되어, 그들의 지각적 및 생태학적 관련성이 검증되었다.
• 이 방법은 여러 참가자와 뇌 영역에 걸쳐 뛰어난 강건성을 보였으며, V100 GPU에서 이미지 생성에 평균 20~30초가 소요되었다.
• 이 방법은 약 1,500 GPU 시간을 소비하여 대규모 피질 탐색에 대한 확장 가능성을 보였다.

Figure 2: Architecture of brain guided diffusion (BrainDiVE) . Top: Our framework consists of two core components: (1) A diffusion model trained to synthesize natural images by iterative denoising; we utilize pretrained LDMs. (2) An encoder trained to map from images to cortical activity. Our framew