[논문 리뷰] A General Framework for Revealing Human Mind with auto-encoding GANs

Pan Wang, Rui Zhou외 7명|arXiv (Cornell University)|2021. 02. 10.

Neural dynamics and brain function참고 문헌 14인용 수 4

한 줄 요약

이 논문은 자동에코딩 GAN을 사용하여 뇌 활동을 시각적 이미지로 번역하는 엔드 투 엔드 뇌 해독 프레임워크를 제안한다. 이 프레임워크는 뇌파(EEG)와 fMRI 신호의 잠재 표현을 이미지 특징과 정렬하여, 고해상도 정신적 이미지 재구성 성능을 달성한다. fMRI 기반 재구성은 더 나은 신호 해상도 덕분에 EEG를 능가하며, SSIM 및 MSE를 사용한 이미지 유사도 비교에서 거의 100%의 정확도를 기록한다.

ABSTRACT

Addressing the question of visualising human mind could help us to find regions that are associated with observed cognition and responsible for expressing the elusive mental image, leading to a better understanding of cognitive function. The traditional approach treats brain decoding as a classification problem, reading the mind through statistical analysis of brain activity. However, human thought is rich and varied, that it is often influenced by more of a combination of object features than a specific type of category. For this reason, we propose an end-to-end brain decoding framework which translates brain activity into an image by latent space alignment. To find the correspondence from brain signal features to image features, we embedded them into two latent spaces with modality-specific encoders and then aligned the two spaces by minimising the distance between paired latent representations. The proposed framework was trained by simultaneous electroencephalogram and functional MRI data, which were recorded when the subjects were viewing or imagining a set of image stimuli. In this paper, we focused on implementing the fMRI experiment. Our experimental results demonstrated the feasibility of translating brain activity to an image. The reconstructed image matches image stimuli approximate in both shape and colour. Our framework provides a promising direction for building a direct visualisation to reveal human mind.

연구 동기 및 목표

• 기존 뇌 해독 기법이 분류 작업으로서의 한계를 극복하기 위해 뇌 활동에서 엔드 투 엔드 이미지 재구성 기능을 제공하고자 한다.
• 뇌 신호 특징과 이미지 특징 간의 직접적인 맵핑을 위해 잠재 공간 정렬을 통해 구현하고자 한다.
• 통합된 생성 기반 프레임워크를 사용하여 EEG 및 fMRI 신호로부터 정신적 이미지를 재구성할 수 있는 가능성을 평가하고자 한다.
• 이미지 품질과 특징 충실도에 중점을 두어 EEG와 fMRI가 시각적 정신 내용을 재구성하는 데에서 상대적인 성능을 비교하고자 한다.

제안 방법

• 프레임워크는 뇌 신호(EEG/fMRI)와 이미지를 공유된 잠재 공간에 통합하기 위해 모odal별 인코더를 사용한다.
• 짝지어진 표현 간의 L2 거리 최소화를 통해 뇌 활동과 이미지의 잠재 표현을 정렬한다.
• 이미지 특징 학습 및 이미지 생성을 위한 변분 자동에코더(Variational Auto-encoder)를 사전 학습하여 생성 기반 모델을 구성한다.
• 뇌 신호 인코더를 훈련시어 fMRI 및 EEG 신호를 이미지 특징과 동일한 잠재 공간으로 매핑한다.
• 모델은 이미지 시청 및 정신적 상상 작업 중에 동시에 수집된 EEG-fMRI 데이터를 기반으로 훈련된다.
• 이미지 재구성은 뇌 활동의 정렬된 잠재 표현을 디코딩하여 시각적 이미지로 변환함으로써 수행된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 생성 모델링을 통해 뇌 활동을 직접 시각적 이미지로 번역할 수 있는가?
• RQ2 뇌 신호와 이미지 특징 간의 잠재 공간 정렬이 정신적 이미지를 얼마나 잘 재구성하는가?
• RQ3 EEG와 fMRI 중 어느 것이 시각적 정신 내용 재구성에 더 뛰어난 성능을 보이는가?
• RQ4 재구성된 이미지가 원본 자극에 비해 형태와 색상 정보를 얼마나 잘 유지하는가?

주요 결과

• fMRI 기반 프레임워크는 SSIM 비교에서 약 80%의 쌍별 이미지 유사도 정확도를 기록하여 형태와 색상 재현의 고해상도 재구성을 확인했다.
• EEG 기반 프레임워크는 유사도 비교에서 약 60%의 정확도를 기록하여 감지 가능한 그러나 흐릿한 이미지 재구성 성능을 보였다.
• 알파-GAN 기준 모델은 실제 이미지를 입력으로 사용하여 이미지 유사도 비교에서 거의 100%의 정확도를 기록하여 모델의 능력을 확인했다.
• 낮은 이미지 품질에도 불구하고 EEG는 fMRI보다 더 높은 분류 정확도를 보였으며, 이는 EEG가 카테고리 수준의 해독에 더 적합할 수 있음을 시사한다.
• 프레임워크는 fMRI와 EEG 신호 양쪽 모두로부터 정신적 이미지를 성공적으로 재구성하여 인간 사고의 직접적 시각화 가능성을 입증했다.