[论文解读] DreamDiffusion: Generating High-Quality Images from Brain EEG Signals

Yunpeng Bai, Xintao Wang+4 more|arXiv (Cornell University)|Jun 29, 2023

EEG and Brain-Computer Interfaces被引用 17

一句话总结

DreamDiffusion 通过用时序掩蔽信号建模对 EEG 编码器进行预训练，并利用 CLIP 监督对齐 EEG、文本和图像空间来条件化预训练的 Stable Diffusion 模型，从而直接从 EEG 信号生成高质量图像。

ABSTRACT

This paper introduces DreamDiffusion, a novel method for generating high-quality images directly from brain electroencephalogram (EEG) signals, without the need to translate thoughts into text. DreamDiffusion leverages pre-trained text-to-image models and employs temporal masked signal modeling to pre-train the EEG encoder for effective and robust EEG representations. Additionally, the method further leverages the CLIP image encoder to provide extra supervision to better align EEG, text, and image embeddings with limited EEG-image pairs. Overall, the proposed method overcomes the challenges of using EEG signals for image generation, such as noise, limited information, and individual differences, and achieves promising results. Quantitative and qualitative results demonstrate the effectiveness of the proposed method as a significant step towards portable and low-cost ``thoughts-to-image'', with potential applications in neuroscience and computer vision. The code is available here \url{https://github.com/bbaaii/DreamDiffusion}.

研究动机与目标

• 激发并实现直接从 EEG 信号生成图像，而无需将想法翻译成文本。
• 利用大规模 EEG 数据学习鲁棒的语义表征。
• 通过 CLIP 监督将 EEG 表征与文本和图像空间对齐，以提升扩散式生成。
• 展示便携、低成本脑-图像生成的可行性与潜力。

提出的方法

• 对大规模嘈杂 EEG 数据进行时序掩蔽信号建模，以预训练 EEG 编码器。
• 在有限的 EEG-图像对上，使用 EEG 条件的交叉注意力对预训练的 Stable Diffusion 模型进行微调。
• 将 EEG 嵌入转换到 CLIP 兼容空间，并应用基于 CLIP 的监督以对齐 EEG、文本和图像嵌入。
• 使用固定的 CLIP 图像编码器对 EEG 派生嵌入与图像嵌入之间的对齐进行监督。
• 以整合 EEG 条件和扩散去噪目标的损失来优化 SD。

实验结果

研究问题

• RQ1 是否可以在不将想法转化为文本的情况下，使用 EEG 信号生成高质量图像？
• RQ2 如何从嘈杂、变量的 EEG 数据和有限的 EEG-图像对中学习鲁棒的 EEG 表征？
• RQ3 基于 CLIP 的监督是否提升 EEG、文本和图像空间在扩散式生成中的对齐？

主要发现

• DreamDiffusion 在定性比较中实现了比 Brain2Image 更高的图像质量。
• 较高的 EEGMSM 掩码比率（0.75）在设计任务上产生了最佳的消融性能。
• CLIP 监督显著提升了 EEG 嵌入与图像/文本嵌入之间的对齐，从而提升了图像生成质量。
• 对约 12 万个 EEG 样本、覆盖 400 余名受试者的预训练为后续生成提供了鲁棒的 EEG 表征。
• 在具有 EEG 条件和 CLIP 对齐的前提下对 Stable Diffusion 进行微调，使从 EEG 信号生成的图像更加现实。
• 消融研究显示预训练、CLIP 对齐和跨注意力组件对性能的重要性。