[논문 리뷰] EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals

Kay Gregor Hartmann, Robin Tibor Schirrmeister외 1명|arXiv (Cornell University)|2018. 06. 05.

Neural dynamics and brain function인용 수 145

한 줄 요약

본 논문은 gradient penalty가 있는 Wasserstein GAN을 적응적으로 적용하여 단일 채널 EEG 신호를 생성하고, 시계열 데이터에 대한 아키텍처 및 학습 선택을 탐구하며, 생성된 EEG의 현실성 및 다양성을 평가하기 위한 여러 지표를 검토한다.

ABSTRACT

Generative adversarial networks (GANs) are recently highly successful in generative applications involving images and start being applied to time series data. Here we describe EEG-GAN as a framework to generate electroencephalographic (EEG) brain signals. We introduce a modification to the improved training of Wasserstein GANs to stabilize training and investigate a range of architectural choices critical for time series generation (most notably up- and down-sampling). For evaluation we consider and compare different metrics such as Inception score, Frechet inception distance and sliced Wasserstein distance, together showing that our EEG-GAN framework generated naturalistic EEG examples. It thus opens up a range of new generative application scenarios in the neuroscientific and neurological context, such as data augmentation in brain-computer interfacing tasks, EEG super-sampling, or restoration of corrupted data segments. The possibility to generate signals of a certain class and/or with specific properties may also open a new avenue for research into the underlying structure of brain signals.

연구 동기 및 목표

• 데이터 증강 및 분석을 가능하게 하기 위해 GAN을 사용한 인공 EEG 신호 생성의 동기를 제시한다.
• 개선된 Wasserstein GAN with gradient penalty를 통해 시계열 EEG 데이터에 대한 GAN 학습의 안정화를 추진한다.
• 현실성을 극대화하기 위한 시계열 생성의 아키텍처 선택(업샘플링/다운샘플링, 컨볼루션 커널 크기)을 조사한다.
• 실제 EEG 신호와 생성된 EEG 신호 간의 유사성을 평가하기 위해 여러 평가 지표를 비교한다.
• EEG 증강, 슈퍼 샘플링, 데이터 복원과 같은 잠재적 응용을 논의한다.

제안 방법

• 비판자 차이에 의해 스케일링된 일방향 gradient penalty를 사용하여 학습을 안정화하는 개선된 Wasserstein GAN 학습을 적용했다.
• 6단계에 걸쳐 시계열 해상도를 24에서 768 샘플로 증가시켜 GAN의 점진적 확장을 구현했다.
• 업샘플링/다운샘플링 블록과 9크기의 커널을 사용하는 컨볼루션 생성자 및 비판자 아키텍처를 도입하고, Leaky ReLU와 픽셀 정규화를 사용했다.
• 진행형 GAN 문헌의 정규화 기법(minibatch stddev, equalized learning rate, pixel norm)을 적용했다.
• 사전 학습된 EEG 분류기를 사용한 Inception Score(IS), Frechet Inception Distance(FID), Euclidean distance(ED min), Sliced Wasserstein Distance(SWD) 등 여러 지표로 생성된 EEG를 평가했다.
• 업샘플링/다운샘플링 방식(AVG 풀링 vs conv 다운샘플링; 최근접 이웃 vs 선형 vs 큐빅 업샘플링)을 비교했다.

실험 결과

연구 질문

• RQ1 GAN이 실제 데이터에 비견될 만큼 현실적인 단일 채널 EEG 신호를 생성할 수 있는가?
• RQ2 아키텍처 및 학습 선택(샘플링, 커널 크기, 업샘플링/다운샘플링)이 EEG 신호 생성 품질에 어떤 영향을 미치는가?
• RQ3 어떤 평가 지표가 EEG 신호의 현실성 및 다양성을 신뢰성 있게 반영하는가?
• RQ4 GAN을 사용한 EEG 생성에서 학습이 안정적인가, 그리고 모드 붕괴가 발생하는 조건은 무엇인가?
• RQ5 뇌과학 및 임상 맥락에서 EEG-GAN 출력의 잠재적 응용은 무엇인가?

주요 결과

• 수정된 WGAN-GP가 EEG 신호 생성을 안정시키고 특정 아키텍처에서 붕괴를 피할 수 있음을 보였다.
• 다른 지표에서 다른 아키텍처가 최상의 성능을 보이며, 단일 지표로 품질을 포괄적으로 파악할 수 없다.
• IS는 EEG 생성 품질의 신뢰할 수 있는 지표가 아니며, SWD와 EDmin이 보완적 통찰을 제공한다. FID는 공간적/스펙트럴 현실성과 항상 일치하지 않는다.
• 전체적으로 최상의 공간-스펙트럴 현실성은 지표에 따라 달랐으며, CONV-LIN이 IS와 SWD에서 자주 좋은 성능을 보였고, CONV-CUB은 여러 지표에서 좋지 못했다.
• 일방향 gradient penalty와 거리 스케일링 정규화를 적용한 WGAN-GP는 실험에서 안정적인 그래디언트를 보였고 붕괴를 피했다(일부 설정에서 원래 WGAN-GP와 달랐다).
• 가장 자연스럽게 보이는 분포가 반드시 최저 FID를 가진 것은 아니었으며, EEG 데이터에 대한 지표의 한계를 강조한다.