[논문 리뷰] Decoding natural image stimuli from fMRI data with a surface-based convolutional network

Zijin Gu, K. A. Jamison외 2명|arXiv (Cornell University)|2022. 12. 05.

CCD and CMOS Imaging Sensors인용 수 13

한 줄 요약

이 논문은 코어티컬 토폴로지와 변동형 훈련 방식을 활용한 인스턴스 조건화 GAN을 통해 fMRI 데이터로부터 자연 이미지 자극을 복원하는 새로운 표면 기반 컨볼루션 네트워크인 Cortex2Image를 제안한다. 전체 코어티컬 영역의 뇌 활동에서 공간적 관계를 모델링함으로써 기존 방법보다 더 높은 정교한 세부 사항 재구성 능력과 최신 기준의 의미적 정확도를 달성하여 정량적 및 정성적 지표에서 모두 기존 방법을 능가한다.

ABSTRACT

Due to the low signal-to-noise ratio and limited resolution of functional MRI data, and the high complexity of natural images, reconstructing a visual stimulus from human brain fMRI measurements is a challenging task. In this work, we propose a novel approach for this task, which we call Cortex2Image, to decode visual stimuli with high semantic fidelity and rich fine-grained detail. In particular, we train a surface-based convolutional network model that maps from brain response to semantic image features first (Cortex2Semantic). We then combine this model with a high-quality image generator (Instance-Conditioned GAN) to train another mapping from brain response to fine-grained image features using a variational approach (Cortex2Detail). Image reconstructions obtained by our proposed method achieve state-of-the-art semantic fidelity, while yielding good fine-grained similarity with the ground-truth stimulus. Our code is available at: https://github.com/zijin-gu/meshconv-decoding.git.

연구 동기 및 목표

• 영역별 관심영역(ROI) 선택과 벡터화된 볼륨 반응에 의존하는 기존 fMRI 기반 이미지 복원 방법의 한계를 해결하기 위해, 코어티컬 공간 토폴로지 무시 및 주관성 문제를 해결하고자 한다.
• 표면 기반 컨볼루션을 통해 코어티컬 표면 활동의 2차원 공간적 구조를 모델링하여 이미지 재구성 품질을 향상시키고자 한다.
• 사전 훈련된 이미지 생성기(IC-GAN)를 변동형 접근 방식을 통해 종합적으로 엔드 투 엔드로 훈련함으로써 계산 효율성과 재구성 정확도를 향상시키고자 한다.
• 전체 코어티컬 fMRI 반응에서 고의미 정확도와 풍부한 세부 사항을 갖춘 재구성 이미지를 달성하여 기존 최신 기준 방법을 초월하고자 한다.
• 개별 환자에 특화된 모델이 다른 개인 간에 일반화되지 않음을 입증함으로써, 개인 맞춤형이면서도 공유 가능한 아키텍처 프레임워크의 필요성을 강조하고자 한다.

제안 방법

• 전체 코어티컬 fMRI 반응을 의미적 이미지 특징으로 매핑하는 표면 기반 컨볼루션 신경망(Cortex2Semantic)을 사용하며, 표준화된 코어티컬 메쉬 표현 방식을 통해 공간 토폴로지를 유지한다.
• 두 번째 모델인 Cortex2Detail은 사전 훈련된 인스턴스 조건화 GAN(IC-GAN)과 변동형 추론 프레임워크를 사용하여 엔드 투 엔드로 훈련되며, 뇌 반응에서 고해상도 이미지 세부 사항을 생성한다.
• IC-GAN은 훈련 중 동결되며, 세부 정보 벡터는 변동형 오토인코더 유사 최적화를 통해 추론되어 이전 연구에서 사용된 반복적 노이즈 벡터 최적화의 필요성을 줄인다.
• 모델의 훈련 및 평가에 자연 풍경 데이터셋(NSD)을 사용하며, 7T에서 스캔된 8명의 피험자가 9,000~10,000장의 자연 이미지를 시청하였다.
• 뇌 반응은 영역 의존적 프리프로세싱을 피하기 위해 표준화된 코어티컬 표면 메쉬를 사용하여 피험자 간 공통 아키텍처를 가능하게 한다.
• 특징 수준의 감독과 이미지 수준의 현실성에 대한 adversarial 훈련을 결합함으로써 의미적 및 세부 사항 재구성의 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 코어티컬 표면의 2차원 토폴로지를 존중하는 표면 기반 컨볼루션 네트워크가, 벡터화된 볼륨 접근 방식보다 의미적 및 세부적인 이미지 재구성 능력을 향상시키는가?
• RQ2 사전 훈련된 GAN과 엔드 투 엔드 훈련이 반복적 노이즈 벡터 최적화에 비해 계산 비용을 줄이고 재구성 품질을 향상시키는가?
• RQ3 제한된 ROI가 아닌 전체 코어티컬 활동을 모델링할 경우, 복원 성능과 피험자 간 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 제안된 모델이 기존 최신 기준 방법에 비해 의미 정확도와 참조 자극과의 정서적 유사도 측면에서 어떻게 비교되는가?
• RQ5 왜 개별 환자에 특화된 모델은 일반화되지 않으며, 이는 신경 복원 과제에서의 다중 피험자 복원 가능성에 어떤 영향을 미치는가?

주요 결과

• Cortex2Image 모델은 이미지 재구성에서 최신 기준의 의미 정확도를 달성하였으며, 잘 복원된 예시에서는 자이언트, 기차, 비행기 등의 물체 카테고리를 정확히 식별하였다.
• 기존 방법에서 자주 손실되는, 점박이 무늬, 음식의 색상, 물체의 방향, 공간적 배치(예: 트랙 위의 기차, 하늘의 비행기)와 같은 세부 사항을 유지하였다.
• RidgeImage 기준선에 비해 SSIM를 제외한 모든 평가 지표에서 Cortex2Image가 승리하였으며, FID, LPIPS, CLIP 점수에서 뚜렷한 향상을 보이며 더 나은 정서적 및 의미적 품질을 입증하였다.
• Cortex2Semantic 모델만으로는 물체 카테고리를 포착할 수 있으나 세부 사항 재구성에 실패한다. 반면 전체 Cortex2Image 모델은 세부 사항 정확도를 크게 향상시켜 의미적 및 세부 사항 학습의 통합적 가치를 입증하였다.
• RidgeImage 기준선은 일부 의미 정확도는 보이지만 시각적 품질이 열악하여, 수작업 특징과 비공간적 모델링에 의존하는 릿지 회귀의 한계를 드러내었다.
• 개별 환자에 특화된 모델은 다른 개인 간에 일반화되지 않으며, 성능에 상당한 차이가 있으며, 이는 피험자 간 신호 대 잡음 비율과 신경 반응 특성의 차이로 인한 것으로 보인다.