[论文解读] ENIGMA: EEG-to-Image in 15 Minutes Using Less Than 1% of the Parameters

Reese Kneeland, Wangshu Jiang+4 more|arXiv (Cornell University)|Feb 10, 2026

EEG and Brain-Computer Interfaces被引用 0

一句话总结

ENIGMA 是一个多主体的 EEG-to-image 模型，在新主体上可在极少数据和极短时间内微调；参数占比极低，且在 THINGS-EEG2 与 Alljoined-1.6M 上达到最先进的重建，具备在消费级硬件上部署的鲁棒性。

ABSTRACT

To be practical for real-life applications, models for brain-computer interfaces must be easily and quickly deployable on new subjects, effective on affordable scanning hardware, and small enough to run locally on accessible computing resources. To directly address these current limitations, we introduce ENIGMA, a multi-subject electroencephalography (EEG)-to-Image decoding model that reconstructs seen images from EEG recordings and achieves state-of-the-art (SOTA) performance on the research-grade THINGS-EEG2 and consumer-grade AllJoined-1.6M benchmarks, while fine-tuning effectively on new subjects with as little as 15 minutes of data. ENIGMA boasts a simpler architecture and requires less than 1% of the trainable parameters necessary for previous approaches. Our approach integrates a subject-unified spatio-temporal backbone along with a set of multi-subject latent alignment layers and an MLP projector to map raw EEG signals to a rich visual latent space. We evaluate our approach using a broad suite of image reconstruction metrics that have been standardized in the adjacent field of fMRI-to-Image research, and we describe the first EEG-to-Image study to conduct extensive behavioral evaluations of our reconstructions using human raters. Our simple and robust architecture provides a significant performance boost across both research-grade and consumer-grade EEG hardware, and a substantial improvement in fine-tuning efficiency and inference cost. Finally, we provide extensive ablations to determine the architectural choices most responsible for our performance gains in both single and multi-subject cases across multiple benchmark datasets. Collectively, our work provides a substantial step towards the development of practical brain-computer interface applications.

研究动机与目标

• 解决将实际 EEG 转换为图像的可行性问题，以实现对新主体的快速微调的实际可用性。
• 在研究级和消费级 EEG 硬件上实现鲁棒性能。
• 通过跨主体共享参数来减小模型规模，同时保持解码质量。
• 提供包括人类行为评估和消融分析在内的综合评估。
• 展示在边缘部署和临床使用中的广泛适用性与高效性。

提出的方法

• 提出 ENIGMA，一个具备时空骨干网、逐主体的潜在对齐层以及映射到 CLIP 嵌入空间的 MLP 投影头的多主体 EEG-to-image 模型。
• 使用统一的多主体架构，通过轻量级的主体特定对齐机制实现跨主体共享大部分参数。
• 将 EEG 嵌入映射到 CLIP ViT-H/14 的潜在空间，并通过 Stable Diffusion XL Turbo + IP-Adapter 重构图像。
• 以复合损失训练：EEG 嵌入与图像 CLIP 嵌入之间的均方误差 + InfoNCE 对比项。
• 支持三种工作模式：单主体、跨主体、以及对新主体的微调适配。
• 演示在 15 分钟内完成标定的可行性以及潜在的边缘设备部署；报告训练效率（如 30 个主体需要 5.5 小时）。

实验结果

研究问题

• RQ1 单一统一的多主体 EEG-to-image 模型是否可以在高质量和消费级 EEG 硬件上都达到最先进的重建效果？
• RQ2 一个轻量化、共享参数的架构，结合主体特定的潜在对齐，是否能在极少数据下实现对新主体的快速适应？
• RQ3 ENIGMA 相对于现有 EEG-to-Image 基线在标准基准（THINGS-EEG2 和 Alljoined-1.6M）上的表现如何，在自动评估与人类评估中？
• RQ4 架构组件（潜在对齐、时空骨干、扩散先验）对跨主体泛化和对硬件质量的鲁棒性有何影响？
• RQ5 相比单主体模型，ENIGMA 是否对多主体具有可扩展性且参数效率显著提升？

主要发现

Method	Model Properties	Low-Level	High-Level	Retrieval	Human Raters	# of Parameters	Inference GFLOPS	PixCorr	SSIM	Alex(2)	Alex(5)	Incep	CLIP	Eff	SwAV	Top-1	Top-5	Top-10	Ident. Acc.
ENIGMA (Multi-Subject)	2,376,842	294.4	0.1668	0.4264	82.99%	89.12%	76.54%	80.33%	0.8577	0.5399	22.55%	50.75%	64.05%	86.04%
ATM-S (Multi-Subject)	12,815,311	3,858.6	0.072	0.403	57.09%	58.99%	52.86%	55.04%	0.963	0.663	16.20%	45.10%	62.20%	56.82%
ENIGMA (Single-Subject)	13,896,820	294.4	0.1718	0.4233	83.64%	89.49%	77.65%	81.48%	0.8547	0.5403	27.60%	59.35%	71.15%	86.82%
ATM-S (Single-Subject)	128,153,110	3,858.6	0.136	0.392	73.85%	80.83%	67.56%	71.28%	0.909	0.601	30.15%	60.15%	73.60%	77.14%
Perceptogram (Single-Subject)	4,731,924,800	2,807.8	0.247	0.431	85.46%	88.03%	70.40%	71.98%	0.902	0.581	–	–	–	79.17%
Alljoined-1.6M (Multi-Subject)	2,376,842	588.8	0.0852	0.4175	68.33%	73.40%	63.14%	66.38%	0.9259	0.6127	6.00%	18.85%	28.80%	70.74%

• ENIGMA 在 THINGS-EEG2 与 Alljoined-1.6M 上实现多项指标的最先进性能，并通过潜在对齐实现稳健的跨主体泛化。
• 该模型所需可训练参数不到以往方法的 1%，并可扩展到 30 个主体，相较单主体方法在多主体部署上实现约 165x 的参数缩减。
• ENIGMA 在新主体的数据量极少（如 15 分钟）时即可微调，低数据场景下优于未预训练的基线。
• 人类行为评估表明，ENIGMA 的重建在各条件下比基线更易被识别为真实目标图像。
• 消融分析显示潜在对齐与时空骨干对多主体性能至关重要，而某些扩散先验组件在消费级硬件上可能降低性能。
• 在各基准测试中，ENIGMA 在消费级 EEG 硬件上表现稳健，降低了更复杂架构带来的脆弱性。