[논문 리뷰] DREAM: Visual Decoding from Reversing Human Visual System

Weihao Xia, Raoul de Charette외 2명|arXiv (Cornell University)|2023. 10. 03.

Visual Attention and Saliency Detection참고 문헌 52인용 수 4

한 줄 요약

DREAM는 인간 시각 시스템의 계층적이고 병렬적인 경로를 뒤집어 뇌 활동에서 의미, 색상, 깊이를 복원하는 새로운 fMRI-to-image 복원 방법을 제안한다. 의미를 위한 Reverse-VAC과 색상-깊이 동시 예측을 위한 Reverse-PKM을 도입함으로써, 외관, 구조, 의미 일致성 측면에서 최신 기법들을 능가하며 NSD 데이터셋에서 뛰어난 복원 정밀도를 달성한다.

ABSTRACT

In this work we present DREAM, an fMRI-to-image method for reconstructing viewed images from brain activities, grounded on fundamental knowledge of the human visual system. We craft reverse pathways that emulate the hierarchical and parallel nature of how humans perceive the visual world. These tailored pathways are specialized to decipher semantics, color, and depth cues from fMRI data, mirroring the forward pathways from visual stimuli to fMRI recordings. To do so, two components mimic the inverse processes within the human visual system: the Reverse Visual Association Cortex (R-VAC) which reverses pathways of this brain region, extracting semantics from fMRI data; the Reverse Parallel PKM (R-PKM) component simultaneously predicting color and depth from fMRI signals. The experiments indicate that our method outperforms the current state-of-the-art models in terms of the consistency of appearance, structure, and semantics. Code will be made publicly available to facilitate further research in this field.

연구 동기 및 목표

• CLIP와 같은 시각-언어 모델에 의존함으로써 외관 및 구조 일치성이 떨어지는 현재의 fMRI-to-image 복원 기법의 한계를 해결하기 위해.
• 특히 색상, 깊이, 의미에 대해 인간 시각 시스템(HVS)의 생물학적으로 타당한 메커니즘을 시각 복원에 통합하기 위해.
• 전방 HVS 경로를 역행적으로 모방함으로써 fMRI-to-image 변환 과정에서의 정보 손실을 줄이기 위해 전용 신경 구성 요소를 사용하기 위해.
• 간접적 지도 학습에 의존하는 대신 fMRI 신호에서 직접 유도된 색상 및 깊이 신호를 통합함으로써 이미지 복원 품질을 향상시키기 위해.
• 생물학적으로 기반을 둔 역행 경로가 기존의 확산 기반 방법보다 더 일관되고 인지적으로 정확한 복원을 가능하게 함을 입증하기 위해.

제안 방법

• DREAM은 시각 자극에서 fMRI로 향하는 전방 HVS 과정의 역을 모델링하는 인간 시각 시스템을 기반으로 한 역행 경로를 활용한다.
• 역시각 연합피질(R-VAC) 구성 요소는 fMRI 신호로부터 고수준의 의미를 복원하여 이미지 생성을 안내하는 CLIP 스타일 임베딩을 생성한다.
• 역병렬 PKM(R-PKM) 구성 요소는 fMRI 데이터로부터 동시에 색상(공간 팔레트로)과 깊이(깊이 맵으로)를 예측하여 구조적 및 색채적 안내를 제공한다.
• 해독된 신호—의미, 색상, 깊이—는 T2I-Adapter를 사용한 Stable Diffusion에 입력되어 이미지를 복원하며, 색상 어댑터와 깊이 어댑터를 통해 공간적 제어를 수행한다.
• 이 방법은 개별 참가자별로 재학습되는 주제 특화 모델을 사용하여 NSD 데이터셋에서 개인별로 훈련되며, fMRI 패atters의 개인 간 변동성을 반영한다.
• 초기 추측 이미지를 ×64로 다운샘플링하여 저해상도 초기 복원에서 기인한 노이즈를 줄이고 강력한 색상 팔레트를 추출한다.

실험 결과

연구 질문

• RQ1 인간 시각 시스템의 계층적이고 병렬적인 경로를 역행적으로 모델링하면 fMRI-to-image 복원 품질이 향상되는가?
• RQ2 fMRI 신호에서 색상과 깊이 신호를 명시적으로 복원하면, 단지 CLIP에 맞춘 의미 정보에 의존하는 것보다 더 일관된 이미지 복원이 가능한가?
• RQ3 생물학적으로 영감을 얻은 역행 경로는 시각-언어 정렬에 의존하는 기존의 확산 기반 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 주제 특화 fMRI 패턴이 복원 성능에 미치는 영향은 어느 정도이며, 일관된 오류는 데이터셋 편향을 드러내는가?
• RQ5 fMRI에서 유도된 색상 및 깊이 예측은 참값과 비교해 어떻게 되며, 이미지 생성의 효과적인 안내로 기능할 수 있는가?

주요 결과

• DREAM은 NSD 데이터셋에서 최신 기법을 능가하는 성능을 달성하였으며, 주제 특화 복원 결과는 외관, 구조, 의미 일치성 측면에서 높은 일관성을 보였다.
• 4명의 참가자(sub01–sub07)에 대한 정량적 평가에서 PixCorr 값은 0.265에서 0.288 사이, SSIM는 92.7%에서 97.5% 사이, CLIP 점수는 93.7%에서 95.2% 사이를 기록하였다.
• 모든 참가자에 대해 안정적인 성능을 보이며, 지표의 변동성이 낮아 개인 간 fMRI 변동성에 대해 강건함을 입증하였다.
• R-PKM 구성 요소에서 유도된 색상 및 깊이 예측은 해상도 제약에도 불구하고 의미 있는 공간적 안내를 제공하여 복원 정밀도를 향상시켰다.
• 공통된 복원 오류—예를 들어, 꽃이 담긴 플라스틱 용기 이미지를 그림으로 잘못 분류하거나 기울여진 식사 접시를 정면 시점으로 잘못 인식하는 것—은 모든 참가자에게 공통으로 나타나며 데이터셋 편향을 드러낸다.
• 시각적 결과는 색상 및 깊이 신호를 통합함으로써 이전 방법([31] 등)에서 관찰된 외관 일관성 문제를 크게 줄임을 보여주었으며, 이는 의미 정보는 유지되었지만 색상이 왜곡된 경우와 대비된다.