[논문 리뷰] Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject Brain-Computer Interface

Yonghao Song, Lie Yang외 2명|arXiv (Cornell University)|2021. 02. 08.

EEG and Brain-Computer Interfaces참고 문헌 59인용 수 14

한 줄 요약

이 논문은 교차 주체 뇌-컴퓨터 인터페이스(BCI) 시스템에서 EEG 데이터 증강을 위한 공통 공간 생성 적대적 네트워크(CS-GAN)를 제안한다. 공변형 기반의 부분공간을 통한 공간적 특징 보존과 카테고리 식별 손실을 활용한 적대적 훈련을 통해, CS-GAN은 고품질의 주체별 EEG 데이터를 생성하며, 이는 BCI 경쟁 대회 IV 데이터셋 2a에서 이탈한 주체를 고려한 테스트에서 분류 정확도를 15.85% 향상시키고, 최소한의 피팅 조정을 통한 테스트에서 8.57% 향상시킨다.

ABSTRACT

The cross-subject application of EEG-based brain-computer interface (BCI) has always been limited by large individual difference and complex characteristics that are difficult to perceive. Therefore, it takes a long time to collect the training data of each user for calibration. Even transfer learning method pre-training with amounts of subject-independent data cannot decode different EEG signal categories without enough subject-specific data. Hence, we proposed a cross-subject EEG classification framework with a generative adversarial networks (GANs) based method named common spatial GAN (CS-GAN), which used adversarial training between a generator and a discriminator to obtain high-quality data for augmentation. A particular module in the discriminator was employed to maintain the spatial features of the EEG signals and increase the difference between different categories, with two losses for further enhancement. Through adaptive training with sufficient augmentation data, our cross-subject classification accuracy yielded a significant improvement of 15.85% than leave-one subject-out (LOO) test and 8.57% than just adapting 100 original samples on the dataset 2a of BCI competition IV. Moreover, We designed a convolutional neural networks (CNNs) based classification method as a benchmark with a similar spatial enhancement idea, which achieved remarkable results to classify motor imagery EEG data. In summary, our framework provides a promising way to deal with the cross-subject problem and promote the practical application of BCI.

연구 동기 및 목표

• 크게 다름을 보이는 EEG 신호의 개인적 차이가 교차 주체 BCI 성능을 저해하는 문제를 해결한다.
• 부족한 주체별 데이터로 인해 주체 독립 모델과 전이 학습의 한계를 극복한다.
• 공간적 및 주파수 특징을 보존하면서도 EEG 신호의 클래스 간 분리도를 향상시키는 데이터 증강 프레임워크를 개발한다.
• 실제로 많은 캘리브레이션 없이도 합성 EEG 데이터의 GAN 기반 생성이 주체 간 일반화를 효과적으로 향상시킬 수 있음을 입증한다.
• 공간적 강화를 통한 벤치마크 CNN 모델을 수립하여 제안된 증강 프레임워크의 효과성을 검증한다.

제안 방법

• 주체 및 클래스 레이블에 조건부로 다중 채널 EEG 신호를 생성하는 조건부 GAN 아키텍처(CS-GAN)를 설계한다.
• 공동 부분공간에서 공분산 행렬 추정을 통해 공간적 특징 학습을 강제하는 디스criminator에 CS-모듈을 도입한다.
• 두 가지 보조 손실을 적용한다—공분산 손실(cov-loss)은 공간 공분산 구조를 보존하고, 이벤트 손실(ev-loss)은 잠재 공간 내의 클래스 간 분리도를 향상시킨다.
• 실제 주체 독립 데이터와 생성된 데이터를 함께 혼합하여 적응형 훈련을 수행함으로써, 엄격한 사전 훈련/피팅 조정 분리 없이 분류기의 보정을 수행한다.
• 생성자와 디스criminator 간의 적대적 훈련을 통해 실제 데이터의 통계적 분포를 모방하는 현실적인 EEG 샘플을 생성한다.
• CS-GAN 프레임워크와 동일한 공간적 특징 학습 원리를 적용한 CNN 기반 분류기를 사용하여 기준 모델로 활용한다.

실험 결과

연구 질문

• RQ1 소량의 주체별 데이터만 존재할 때, GAN 기반 데이터 증강이 교차 주체 EEG 분류 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 잠재 공간에서 공간적 특징을 보존할 경우, 생성된 EEG 신호의 품질과 분류 가능성은 어떻게 영향을 받는가?
• RQ3 기존의 데이터 증강 기법에 비해 제안된 CS-GAN 프레임워크는 교차 주체 BCI 응용에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 공분산 손실(cov-loss)과 이벤트 손실(ev-loss)을 통한 공간적 특징 제약 통합이 표준 GAN에 비해 더 나은 일반화 성능을 이끌어내는가?
• RQ5 최소한의 주체별 데이터로 효과적인 적응이 가능하게 함으로써, 제안된 프레임워크가 BCI 시스템의 캘리브레이션 시간을 단축시킬 수 있는가?

주요 결과

• 제안된 CS-GAN 프레임워크는 BCI 경쟁 대회 IV 데이터셋 2a에서 이탈한 주체를 고려한 테스트에서 교차 주체 분류 정확도를 15.85% 향상시켰다.
• 원본 주체별 샘플 100개만으로도 CS-GAN 증강 모델이 단순 피팅 조정 대비 8.57% 향상된 성능을 기록하여 뛰어난 데이터 효율성을 입증했다.
• 공간적 강화를 통한 CNN 기준 모델은 데이터셋 2a의 단일 주체 분류에서 최신 기술 수준의 성능을 달성하여 공간적 특징 학습의 효과성을 검증했다.
• 생성된 EEG 샘플은 시간, 주파수, 공간 영역에서 실제 데이터와 유사한 분포를 보이며, 고품질의 합성 성능을 나타냈다.
• 큰 개인적 차이가 존재하는 주체 간에서도 프레임워크는 일반화 능력을 보이며 생리적 변동성에 대해 강건함을 입증했다.
• 실제 데이터와 생성된 데이터를 혼합하여 적응형 훈련을 수행한 결과, 엄격한 사전 훈련 및 피팅 조정 프로토콜보다 우수한 성능을 기록하여 실용적 구현에서의 유연성과 효과성을 시사했다.