[论文解读] EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals

Kay Gregor Hartmann, Robin Tibor Schirrmeister+1 more|arXiv (Cornell University)|Jun 5, 2018

Neural dynamics and brain function被引用 145

一句话总结

该论文将带梯度惩罚的 Wasserstein GAN 应用于生成单通道脑电信号，探索时间序列数据的体系结构与训练选择，并评估多种指标以评估生成的脑电信号的真实感与多样性。

ABSTRACT

Generative adversarial networks (GANs) are recently highly successful in generative applications involving images and start being applied to time series data. Here we describe EEG-GAN as a framework to generate electroencephalographic (EEG) brain signals. We introduce a modification to the improved training of Wasserstein GANs to stabilize training and investigate a range of architectural choices critical for time series generation (most notably up- and down-sampling). For evaluation we consider and compare different metrics such as Inception score, Frechet inception distance and sliced Wasserstein distance, together showing that our EEG-GAN framework generated naturalistic EEG examples. It thus opens up a range of new generative application scenarios in the neuroscientific and neurological context, such as data augmentation in brain-computer interfacing tasks, EEG super-sampling, or restoration of corrupted data segments. The possibility to generate signals of a certain class and/or with specific properties may also open a new avenue for research into the underlying structure of brain signals.

研究动机与目标

• 使用 GANs 生成人工脑电信号以实现数据增强和分析的动机。
• 通过改进的 Wasserstein GAN 与梯度惩罚提高对时间序列脑电数据的训练稳定性。
• 研究用于时间序列生成的体系结构选择（上采样/下采样、卷积核尺寸）以最大化真实感。
• 比较多种评估指标以评估真实脑电信号与生成信号之间的相似性。
• 讨论脑电信号输出在神经科学与临床环境中的潜在应用，如脑电增强、超采样与数据修复。

提出的方法

• 采用改进的 Wasserstein GAN 训练，使用以判别器差异为缩放的一边梯度惩罚来稳定训练。
• 通过在 6 步中将时间序列分辨率从 24 增加到 768 实现 GAN 的渐进式生长。
• 采用卷积生成器和判别器结构，包含上采样/下采样模块和 9 维卷积核，使用 leaky ReLUs 与像素归一化。
• 应用来自渐进式 GAN 文献的正则化技术（minibatch stddev、等学习率、像素归一化）。
• 使用多种指标评估生成的脑电信号，包括使用预训练脑电分类器的生成对抗分布的 Inception Score (IS)，Frechet Inception Distance (FID)，Euclidean distance (ED min)，以及 Sliced Wasserstein Distance (SWD)。
• 比较上采样/下采样方案（AVG 池化 vs conv 下采样；最近邻 vs 线性 vs 三次上采样）。

实验结果

研究问题

• RQ1 GANs 能否生成与真实数据相当的逼真单通道脑电信号？
• RQ2 架构与训练选择（采样、卷积核大小、上采样/下采样）如何影响脑电信号生成质量？
• RQ3 哪些评估指标能可靠地反映脑电信号的真实感与多样性？
• RQ4 使用 GANs 进行脑电信号生成的训练是否稳定，在何种条件下会出现模式崩溃？
• RQ5 脑电-GAN 输出在神经科学与临床背景下的潜在应用有哪些？

主要发现

• 改进的 WGAN-GP 可以稳定脑电信号生成并在某些体系结构下避免崩溃。
• 不同的体系结构在不同指标下表现最佳；没有单一指标能够概括质量。
• IS 不是脑电生成质量的可靠指标，而 SWD 与 EDmin 提供互补洞见；FID 并不总是与时空真实感对齐。
• 在总体上最自然的时空真实感因指标而异，CONV-LIN 在 IS 与 SWD 上通常表现良好，而 CONV-CUB 在若干指标上表现较差。
• 带有它们的一边梯度惩罚和距离缩放正则化的 WGAN-GP 表现出稳定梯度，避免在实验中崩溃（与原始 WGAN-GP 在某实验中不同）。
• 最自然的分布并不总是具有最低的 FID，凸显了对 EEG 数据的度量局限性。