[논문 리뷰] ENIGMA: EEG-to-Image in 15 Minutes Using Less Than 1% of the Parameters

Reese Kneeland, Wangshu Jiang외 4명|arXiv (Cornell University)|2026. 02. 10.

EEG and Brain-Computer Interfaces인용 수 0

한 줄 요약

ENIGMA는 새로운 피실험자에 대해 단 15분 만에 미세 조정되는 다피실험자 EEG-이미지 모델이며, 매개변수의 <1%만 사용하고 THINGS-EEG2 및 Alljoined-1.6M 전반에서 최첨단 재구성을 달성하고, 일반 소비 하드웨어에서도 강건한 성능을 발휘합니다.

ABSTRACT

To be practical for real-life applications, models for brain-computer interfaces must be easily and quickly deployable on new subjects, effective on affordable scanning hardware, and small enough to run locally on accessible computing resources. To directly address these current limitations, we introduce ENIGMA, a multi-subject electroencephalography (EEG)-to-Image decoding model that reconstructs seen images from EEG recordings and achieves state-of-the-art (SOTA) performance on the research-grade THINGS-EEG2 and consumer-grade AllJoined-1.6M benchmarks, while fine-tuning effectively on new subjects with as little as 15 minutes of data. ENIGMA boasts a simpler architecture and requires less than 1% of the trainable parameters necessary for previous approaches. Our approach integrates a subject-unified spatio-temporal backbone along with a set of multi-subject latent alignment layers and an MLP projector to map raw EEG signals to a rich visual latent space. We evaluate our approach using a broad suite of image reconstruction metrics that have been standardized in the adjacent field of fMRI-to-Image research, and we describe the first EEG-to-Image study to conduct extensive behavioral evaluations of our reconstructions using human raters. Our simple and robust architecture provides a significant performance boost across both research-grade and consumer-grade EEG hardware, and a substantial improvement in fine-tuning efficiency and inference cost. Finally, we provide extensive ablations to determine the architectural choices most responsible for our performance gains in both single and multi-subject cases across multiple benchmark datasets. Collectively, our work provides a substantial step towards the development of practical brain-computer interface applications.

연구 동기 및 목표

• 현실 세계 BCI를 위한 실용적 EEG-to-Image 디코딩에 대응하여 새로운 피실험자에 대한 빠른 미세 조정을 가능하게 한다.
• 연구용 및 소비자용 EEG 하드웨어 모두에서 강건한 성능 달성.
• 해독 품질을 보존하면서 피실험자 간 매개변수를 공유하여 모델 크기 축소.
• 인간 행동 평가 및 절단 분석을 포함한 포괄적 평가 제공.
• 엣지 배포 및 임상 사용에 대한 광범위한 적용 가능성과 효율성 시연.

제안 방법

• 스페이오-템포럴 백본, 피실험자별 잠재 정렬 층, 그리고 CLIP 임베딩 공간으로의 MLP 프로젝터를 갖춘 다피실험자 EEG-이미지 모델 ENIGMA를 제안한다.
• 거의 모든 매개변수를 피실험자 간에 공유하기 위해 경량의 피실험자별 정렬이 포함된 통합 다피실험자 아키텍처를 사용한다.
• EEG 임베딩을 CLIP ViT-H/14 잠재 공간으로 매핑하고 IP-Adapter가 포함된 Stable Diffusion XL Turbo로 이미지를 재구성한다.
• EEG 임베딩과 이미지 CLIP 임베딩 간 MSE와 InfoNCE 대조 항을 결합한 복합 손실로 학습한다.
• 세 가지 운영 모드를 허용한다: 단일 피실험자, 다피실험자, 미세 조정 피험자 적응.
• 15분 보정 가능성과 엣지 장치 배치 가능성을 시연하고 훈련 효율을 보고한다(예: 30명의 피실험자에 대해 5.5시간).

실험 결과

연구 질문

• RQ1 통합 다피실험자 EEG-이미지 모델이 고품질 및 소비자용 EEG 하드웨어 모두에서 최첨단 재구성을 달성할 수 있는가?
• RQ2 피실험자별 잠재 정렬을 가진 경량의 공유 매개변수 아키텍처가 최소 데이터로 새로운 피실험자에 대한 빠른 적응을 가능하게 하는가?
• RQ3 자동 평가와 인간 평가 모두에서 ENIGMA가 표준 벤치마크(THINGS-EEG2 및 Alljoined-1.6M)에서 기존 EEG-이미지 베이스라인 대비 어떤 성능을 보이는가?
• RQ4 아키텍처 구성요소(잠재 정렬, 스페이오-템포럴 백본, 확산 프라이어)가 피실험자 간 일반화 및 하드웨어 품질에 대한 강건성에 미치는 영향은 무엇인가?
• RQ5 단일 피실험자 모델에 비해 다수 피실험자에 확장 가능한가?

주요 결과

Method	Model Properties	Low-Level	High-Level	Retrieval	Human Raters	# of Parameters	Inference GFLOPS	PixCorr	SSIM	Alex(2)	Alex(5)	Incep	CLIP	Eff	SwAV	Top-1	Top-5	Top-10	Ident. Acc.
ENIGMA (Multi-Subject)	2,376,842	294.4	0.1668	0.4264	82.99%	89.12%	76.54%	80.33%	0.8577	0.5399	22.55%	50.75%	64.05%	86.04%
ATM-S (Multi-Subject)	12,815,311	3,858.6	0.072	0.403	57.09%	58.99%	52.86%	55.04%	0.963	0.663	16.20%	45.10%	62.20%	56.82%
ENIGMA (Single-Subject)	13,896,820	294.4	0.1718	0.4233	83.64%	89.49%	77.65%	81.48%	0.8547	0.5403	27.60%	59.35%	71.15%	86.82%
ATM-S (Single-Subject)	128,153,110	3,858.6	0.136	0.392	73.85%	80.83%	67.56%	71.28%	0.909	0.601	30.15%	60.15%	73.60%	77.14%
Perceptogram (Single-Subject)	4,731,924,800	2,807.8	0.247	0.431	85.46%	88.03%	70.40%	71.98%	0.902	0.581	–	–	–	79.17%
Alljoined-1.6M (Multi-Subject)	2,376,842	588.8	0.0852	0.4175	68.33%	73.40%	63.14%	66.38%	0.9259	0.6127	6.00%	18.85%	28.80%	70.74%

• ENIGMA는 THINGS-EEG2 및 Alljoined-1.6M에서 다수 지표에 걸쳐 SOTA 성능을 달성하고 잠재 정렬을 통한 피실험자 간 일반화가 강건하게 나타난다.
• 모델은 이전 접근법이 필요로 하는 학습 가능한 매개변수의 <1%를 사용하고 다피실험자 배치에서 약 165배의 매개변수 감소로 30명 피실험자까지 확장된다.
• ENIGMA는 새로운 피실험자에 대해 단 15분의 데이터로 미세 조정이 가능하며, 데이터가 적은 경우에 프리트레인되지 않은 베이스라인보다 우수하다.
• 인간 행동 평가에서 ENIGMA 재구성이 조건 전반에서 기준 이미지에 더 식별 가능하다.
• 절단 분석은 잠재 정렬과 스페이오-템포럴 백본이 다피실험자 성능에 중요하며, 특정 확산 프라이어 구성요소는 소비자 하드웨어에서 성능을 저하시킬 수 있음을 시사한다.
• 벤치마크 전반에 걸쳐 ENIGMA는 소비자용 EEG 하드웨어에서도 강건한 성능을 유지하며, 더 복잡한 아키텍처에서 관찰되는 취약성을 줄인다.