[논문 리뷰] Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals

Yu-Ting Lan, Kan Ren외 5명|arXiv (Cornell University)|2023. 07. 27.

CCD and CMOS Imaging Sensors인용 수 7

한 줄 요약

이 논문은 다중 수준의 의미 해석과 잠재 확산 모델을 사용하여 노이즈가 많은 시계열 EEG 데이터에서 고해상도 시각 자극을 복원하는 새로운 파이프라인인 NeuroImagen을 제안한다. 노이즈가 많은 시계열 EEG 데이터에서 픽셀 수준의 민감도 지도와 샘플 수준의 텍스트 기술을 추출함으로써, EEG-이미지 데이터셋에서 최신 기준(FID 및 IS 점수)을 달성하는 뛰어난 이미지 복원 품질을 달성한다.

ABSTRACT

Seeing is believing, however, the underlying mechanism of how human visual perceptions are intertwined with our cognitions is still a mystery. Thanks to the recent advances in both neuroscience and artificial intelligence, we have been able to record the visually evoked brain activities and mimic the visual perception ability through computational approaches. In this paper, we pay attention to visual stimuli reconstruction by reconstructing the observed images based on portably accessible brain signals, i.e., electroencephalography (EEG) data. Since EEG signals are dynamic in the time-series format and are notorious to be noisy, processing and extracting useful information requires more dedicated efforts; In this paper, we propose a comprehensive pipeline, named NeuroImagen, for reconstructing visual stimuli images from EEG signals. Specifically, we incorporate a novel multi-level perceptual information decoding to draw multi-grained outputs from the given EEG data. A latent diffusion model will then leverage the extracted information to reconstruct the high-resolution visual stimuli images. The experimental results have illustrated the effectiveness of image reconstruction and superior quantitative performance of our proposed method.

연구 동기 및 목표

• fMRI 기반 접근 방식에 비해 덜 연구된 노이즈가 많은 시계열 EEG 신호에서 고해상도 시각 자극을 복원하는 과제를 해결하기 위해.
• EEG 데이터에서 다중 해상도 의미 정보—픽셀 수준의 민감도 및 샘플 수준의 텍스트 기술—를 해석함으로써 이미지 복원 품질을 향상시키기 위해.
• 사전 학습된 잠재 확산 모델을 사용하여 고정밀도 이미지 생성을 수행하고, EEG에서 추출한 의미 사전 지식을 기반으로 가이드하는 것을 위해.
• 개개인의 EEG 패tern을 가진 다양한 피험자들 사이에서 프레임워크의 강건성과 일반화 능력을 검증하기 위해.
• 정량적 및 정성적 지표에서 기존의 EEG 기반 이미지 복원 기준보다 제안된 방법이 열등하지 않음을 입증하기 위해.

제안 방법

• EEG 신호에서 픽셀 수준의 의미(예: 민감도 지도)와 샘플 수준의 의미(예: 텍스트 기술)를 모두 추출하는 다중 수준의 인지 정보 해석 모듈을 제안한다.
• 샘플 수준의 의미 해석을 위한 지도 신호로 BLIP 캡션 및 레이블 기반 캡션을 사용하여 확산 과정을 안내한다.
• 추출된 의미 사전 지식을 잠재 확산 모델(LDM)에 통합하여 EEG 기반 표현에 조건부로 고해상도 이미지를 생성한다.
• 이중 단계 학습 전략을 활용한다: 학습 중에는 픽셀 수준 및 샘플 수준의 지도를 사용하며 추론 시에는 제거함으로써 확산 과정의 효과적 제어를 가능하게 한다.
• 잠재 공간에서 사전 학습된 확산 모델을 활용하여 생성 효율성과 이미지 품질을 향상시키면서도 원본 시각 자극의 정확성 유지한다.
• 의미 사전 지식을 확산 모델의 노이즈 제거 단계와 정렬하는 제어 메커니즘을 적용하여 복잡한 EEG 입력에서 구조화된 이미지 생성을 가능하게 한다.

Figure 1: Overview of our NeuroImagen . All the modules with dotted lines, i.e. pixel-level supervision and sample-level supervision, are only used during the training phase. and would be removed during the inference phase .

실험 결과

연구 질문

• RQ1 픽셀 수준의 민감도에서부터 샘플 수준의 텍스트 기술에 이르기까지 EEG 신호에서의 다중 수준 의미 해석은 재구성된 시각 자극의 품질과 의미 정확도를 향상시키는가?
• RQ2 EEG 기반 의미 사전 지식과 사전 학습된 잠재 확산 모델을 통합한 방법은 종래의 엔드 투 엔드 생성 모델이나 검색 기반 기준 대비 어떻게 비교되는가?
• RQ3 개개인의 EEG 패턴과 낮은 신호 대 노이즈 비율을 가진 다양한 피험자들 사이에서 제안된 방법의 일반화 능력은 어느 정도인가?
• RQ4 재구성된 이미지의 구조적 유사성과 의미 유사성 향상에 있어 픽셀 수준의 의미(예: 민감도 지도)와 샘플 수준의 의미(예: 캡션 지도) 중 어느 것이 더 기여하는가?
• RQ5 레이블 기반 캡션 지도가 BLIP 기반 캡션 지도보다 EEG 신호에서 클래스 수준의 의미를 해석하는 데 더 우수한 성능을 보이는가?

주요 결과

• NeuroImagen는 EEG-이미지 데이터셋에서 최신 기준(Fréchet Inception Distance, FID) 및 Inception Score(IS)를 달성하였으며, 피험자 05에서는 IS 32.97, 피험자 01에서는 IS 32.64를 기록하였다.
• 픽셀 수준의 의미(민감도 지도) 사용은 구조적 유사성(SSIM)을 크게 향상시켰으며, 추론 분석에서 기준값(0.157)에서 0.251로 증가하였다.
• 레이블 캡션 지도를 통한 샘플 수준의 의미 통합은 BLIP 캡션 지도보다 높은 성능을 보였으며, IS는 3.5점 향상되고 SSIM은 0.015 증가하였다.
• 모델은 강력한 다중 피험자 일반화 능력을 보였으며, 6명의 피험자 모두에서 일관된 성능을 보였으며, 재구성된 이미지 클래스 분류 평균 정확도는 85.8%였다.
• 추론 분석 결과, 픽셀 수준과 샘플 수준의 의미를 모두 통합할 경우 가장 높은 품질의 재구성 결과를 얻었으며, 최고의 IS(32.97)와 SSIM(0.251) 점수를 기록하였다.
• 정성적 결과에서는 NeuroImagen가 지능적이고 구조적으로 정확한 이미지를 생성하며, 기준 모델인 Brain2Image 및 NeuroVision에 비해 더 높은 시각적 정밀도를 확보하였다.

Figure 2: Examples of ground-truth images, label captions, and BLIP captions, respectively.