[논문 리뷰] DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

Yunpeng Bai, Xintao Wang외 4명|arXiv (Cornell University)|2023. 06. 29.

EEG and Brain-Computer Interfaces인용 수 17

한 줄 요약

DreamDiffusion은 시간적 마스크 신호 모델링으로 EEG 인코더를 사전 훈련하고 CLIP 감독을 통해 EEG, 텍스트, 이미지 공간을 정렬하여 사전 학습된 Stable Diffusion 모델을 조건화함으로써 EEG 신호에서 직접 고품질 이미지를 생성합니다.

ABSTRACT

This paper introduces DreamDiffusion, a novel method for generating high-quality images directly from brain electroencephalogram (EEG) signals, without the need to translate thoughts into text. DreamDiffusion leverages pre-trained text-to-image models and employs temporal masked signal modeling to pre-train the EEG encoder for effective and robust EEG representations. Additionally, the method further leverages the CLIP image encoder to provide extra supervision to better align EEG, text, and image embeddings with limited EEG-image pairs. Overall, the proposed method overcomes the challenges of using EEG signals for image generation, such as noise, limited information, and individual differences, and achieves promising results. Quantitative and qualitative results demonstrate the effectiveness of the proposed method as a significant step towards portable and low-cost ``thoughts-to-image'', with potential applications in neuroscience and computer vision. The code is available here \url{https://github.com/bbaaii/DreamDiffusion}.

연구 동기 및 목표

• 생각을 텍스트로 번역하지 않고도 EEG 신호에서 직접 이미지 생성을 동기 부여 및 가능하게 한다.
• 대규모 EEG 데이터로 강건한 의미 표현을 학습한다.
• CLIP 감독을 통해 EEG 표현을 텍스트 및 이미지 공간과 정렬하여 확산 기반 생성 성능을 향상시킨다.
• 휴대 가능하고 저비용의 뇌-이미지 생성의 타당성과 잠재력을 입증한다.

제안 방법

• 대규모 잡음 EEG 데이터에서 EEG 인코더를 사전 학습하기 위한 시간적 마스크된 신호 모델링.
• 제한된 EEG-이미지 쌍으로 EEG 조건 크로스-어텐션을 이용해 사전 학습된 Stable Diffusion 모델을 미세조정한다.
• EEG 임베딩을 CLIP 호환 공간으로 변환하고 EEG, 텍스트, 이미지 임베딩의 정렬을 CLIP 기반 감독으로 적용한다.
• 고정된 CLIP 이미지 인코더를 사용하여 EEG 파생 임베딩과 이미지 임베딩 간의 정합성을 감독한다.
• EEG 조건화와 확산 디노이징 목표를 통합하는 손실로 SD를 최적화한다.

실험 결과

연구 질문

• RQ1 EEG 신호를 텍스트 기반의 생각 번역 없이도 고품질 이미지를 생성하는 데 사용할 수 있는가?
• RQ2 노이즈가 많고 가변적인 EEG 데이터 및 제한된 EEG-이미지 쌍에서 어떻게 강건한 EEG 표현을 학습할 수 있는가?
• RQ3 CLIP 기반 감독이 확산 기반 생성에서 EEG, 텍스트, 이미지 공간 간 정렬을 개선하는가?

주요 결과

• DreamDiffusion은 정성적 비교에서 Brain2Image보다 더 높은 이미지 품질을 달성한다.
• 설계된 작업에서 높은 EEGMSM 마스크 비율(0.75)이 최상의 애블레이션 성능을 보인다.
• CLIP 감독은 EEG 임베딩과 이미지/텍스트 임베딩 간 정렬을 크게 개선하여 이미지 생성 품질을 향상시킨다.
• 약 120k EEG 샘플과 400명 이상의 피험자에서의 사전훈련은 다운스트림 생성에 필요한 강건한 EEG 표현을 제공한다.
• EEG 조건화와 CLIP 정렬로 Stable Diffusion을 미세조정하면 EEG 신호로부터 현실적인 이미지 합성이 가능하다.
• 애블레이션 연구는 사전 학습, CLIP 정렬, 크로스-어텐션 구성 요소의 중요성을 보여준다.