[논문 리뷰] Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli

Matteo Ferrante, Tommaso Boccato외 1명|arXiv (Cornell University)|2022. 12. 13.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

이 논문은 사전 훈련된 CNN(ResNet50)의 잠재 공간에 뇌 활동을 매핑한 후, 예측된 의미 클래스를 조건으로 하는 잠재 확산 모델을 통해 개념적으로 유사한 시각 자극을 fMRI 데이터에서 재구성하는 의미론적 뇌 해독 파이프라인을 제안한다. 이 방법은 워드넷 기반의 우-팔머 유사도 점수 0.57과 인간 평가 정확도 81%로 최신 기술 수준을 달성한다.

ABSTRACT

Brain decoding is a field of computational neuroscience that uses measurable brain activity to infer mental states or internal representations of perceptual inputs. Therefore, we propose a novel approach to brain decoding that also relies on semantic and contextual similarity. We employ an fMRI dataset of natural image vision and create a deep learning decoding pipeline inspired by the existence of both bottom-up and top-down processes in human vision. We train a linear brain-to-feature model to map fMRI activity features to visual stimuli features, assuming that the brain projects visual information onto a space that is homeomorphic to the latent space represented by the last convolutional layer of a pretrained convolutional neural network, which typically collects a variety of semantic features that summarize and highlight similarities and differences between concepts. These features are then categorized in the latent space using a nearest-neighbor strategy, and the results are used to condition a generative latent diffusion model to create novel images. From fMRI data only, we produce reconstructions of visual stimuli that match the original content very well on a semantic level, surpassing the state of the art in previous literature. We evaluate our work and obtain good results using a quantitative semantic metric (the Wu-Palmer similarity metric over the WordNet lexicon, which had an average value of 0.57) and perform a human evaluation experiment that resulted in correct evaluation, according to the multiplicity of human criteria in evaluating image similarity, in over 80% of the test set.

연구 동기 및 목표

• 픽셀 수준의 재구성에서 벗어나 의미적 및 맥락적 유사성을 고려하여 fMRI로부터 시각 자극 재구성을 향상시키기 위해.
• fMRI 활동이 사전 훈련된 CNN의 의미론적 잠재 공간으로 선형적으로 매핑될 수 있는지, 인간과 유사한 시각적 및 개념적 처리를 반영하는지 조사하기 위해.
• 원본 자극과 의미적으로 유사한 새로운 이미지를 fMRI 데이터를 입력으로 하여 재구성하는 것이 아니라, 정확한 이미지 재현이 아닌 의미적으로 유사한 이미지를 생성하기 위해.
• 정량적 의미 지표와 인간 인지 평가 연구를 통해 재구성 품질을 평가하기 위해.

제안 방법

• 사전 훈련된 ResNet50 네트워크의 마지막 합성곱층 특징에 fMRI 활동 패tern을 매핑하기 위한 선형 뇌-특징 모델을 훈련한다.
• CNN의 잠재 공간에서 k-최근접 이웃(kNN) 분류를 사용하여 fMRI 패턴에 해당하는 의미 카테고리 예측한다.
• 예측된 의미 클래스를 조건으로 하여 잠재 확산 생성 모델을 조정하여 원본 자극과 의미적으로 유사한 새로운 이미지를 합성한다.
• 뇌의 시각적 표현이 깊이 있는 CNN의 의미론적 특징 공간과 호모모르픽(homomorphic)하다는 가정을 활용하여 의미론적 일반화를 가능하게 한다.
• 워드넷을 기반으로 한 우-팔머 유사도 지표를 적용하여 진짜 개념과 예측된 개념 간의 의미적 정확도를 정량적으로 평가한다.
• 이중盲인 인간 평가 연구를 수행하여 생성된 이미지의 인지적 유사도와 품질을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 의미론적 잠재 공간으로 fMRI 활동 패턴을 효과적으로 매핑하여 개념적으로 정확한 이미지 생성이 가능한가?
• RQ2 인간 관찰자가 평가했을 때 생성된 이미지가 원본 시각 자극의 의미적 내용과 얼마나 유사한가?
• RQ3 의미 유사도와 인지적 품질 측면에서 이전 최신 기술에 비해 제안된 방법은 어떻게 비교되는가?
• RQ4 fMRI에서 CNN 특징로의 선형 매핑이 시각 인지의 계층적이고 의미론적인 조직을 포괄할 수 있는가?
• RQ5 상향식 의미론적 사전 지식은 픽셀 수준 정확도를 넘어서 재구성 정확도를 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 워드넷 어휘에서 평균 우-팔머 유사도 점수 0.57 ± 0.15를 기록하여 예측된 개념과 진짜 개념 간의 강력한 의미론적 일치를 나타냈다.
• 이중盲인 인간 평가에서 테스트 세트의 81%가 원본 자극과 의미적으로 유사하다고 정확하게 식별되었다.
• 정확한 픽셀 재구성이 아닌 이상의 의미적 및 개념적 유사성에서 이전 최신 기술을 초월한 재구성 성능를 달성했다.
• CNN의 잠재 공간에서 kNN 전략을 활용한 의미 분류가 fMRI 데이터로부터 효과적으로 가능했으며, 뇌-CNN 표현 간의 호모모르피즘 가설을 지지했다.
• 예측된 의미 클래스를 조건으로 하는 잠재 확산 모델은 원본 자극의 의미 내용과 일치하는 새로운, 시각적으로 타당한 이미지를 성공적으로 생성했다.
• 결과는 fMRI 데이터가 해독 외에도 의미론적으로 유의미한 시각 콘텐츠 생성에 활용될 수 있음을 시사하며, 뇌-컴퓨터 인터페이스 및 인지신경과학 적용 분야의 발전에 기여한다.