[논문 리뷰] Reconstructing ERP Signals Using Generative Adversarial Networks for Mobile Brain-Machine Interface

Young Eun Lee, Minji Lee외 1명|arXiv (Cornell University)|2020. 05. 18.

EEG and Brain-Computer Interfaces참고 문헌 34인용 수 7

한 줄 요약

이 논문은 보행 중에 기록된 노이즈가 많은 뇌전도(EEG) 데이터로부터 사건 관련 잠재 전위(ERP) 신호를 복원하기 위해 생성적 적대 신경망(GAN) 기반 프레임워크를 제안한다. 사전 훈련된 합성곱 인코더와 ERP 유사 웨이브포맷을 학습하는 생성 모델을 사용하며, 신호 대 잡음비(SNR)와 분류 정확도가 크게 향상되어 이동 조건에서도 핵심 ERP 성분(N200 및 P300)을 복원한다.

ABSTRACT

Practical brain-machine interfaces have been widely studied to accurately detect human intentions using brain signals in the real world. However, the electroencephalography (EEG) signals are distorted owing to the artifacts such as walking and head movement, so brain signals may be large in amplitude rather than desired EEG signals. Due to these artifacts, detecting accurately human intention in the mobile environment is challenging. In this paper, we proposed the reconstruction framework based on generative adversarial networks using the event-related potentials (ERP) during walking. We used a pre-trained convolutional encoder to represent latent variables and reconstructed ERP through the generative model which shape similar to the opposite of encoder. Finally, the ERP was classified using the discriminative model to demonstrate the validity of our proposed framework. As a result, the reconstructed signals had important components such as N200 and P300 similar to ERP during standing. The accuracy of reconstructed EEG was similar to raw noisy EEG signals during walking. The signal-to-noise ratio of reconstructed EEG was significantly increased as 1.3. The loss of the generative model was 0.6301, which is comparatively low, which means training generative model had high performance. The reconstructed ERP consequentially showed an improvement in classification performance during walking through the effects of noise reduction. The proposed framework could help recognize human intention based on the brain-machine interface even in the mobile environment.

연구 동기 및 목표

• 이동형 뇌-기계 인터페이스(BMI)에서 운동 아티팩트로 인한 EEG 신호 품질 저하 문제를 해결하기 위해.
• 동적인 조건에서도 중요한 ERP 성분(N200 및 P300)을 유지하는 강건한 신호 복원 프레임워크를 개발하기 위해.
• 원시 EEG가 아티팩트로 심하게 오염된 이동 환경에서 ERP 신호의 분류 성능을 향상시키기 위해.
• GAN을 단순한 데이터 생성을 넘어서 EEG에서의 종단 간 잡음 제거 및 신호 복원에 응용하기 위해.
• 실제 보행 EEG 데이터와 오드볼 ERP 프로토콜을 사용해 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 보행 중 노이즈가 많은 EEG 신호에서 잠재 표현을 추출하기 위해 사전 훈련된 합성곱 인코더를 사용하였다.
• 인코더의 잠재 공간의 역매핑을 학습함으로써 ERP 유사 웨이브포맷을 복원하는 생성 모델을 설계하였다.
• 재구성된 신호의 진위성을 검증하기 위해 구분 모델을 활용하여, 이들이 정적 상태의 ERP 신호와 유사한지 확인하였다.
• 훈련 안정성과 복원 정밀도 향상을 위해 생성적 적대 손실과 평균 제곱 오차(MSE) 손실을 병합하여 GAN 프레임워크를 훈련시켰다.
• 오드볼 ERP 프로토콜을 사용해 1.6 m/s 속도로 터널에서 보행 중에 수집한 32채널 EEG 데이터에 프레임워크를 적용하였다.
• 낮은 MSE 손실(0.6301)을 통해 생성 모델을 최적화하여 고품질의 복원 성능를 확보하였다.

실험 결과

연구 질문

• RQ1 GAN 기반의 신호 복원이 보행 중에 수집된 노이즈가 많은 EEG 신호로부터 ERP 성분(N200 및 P300)을 효과적으로 복원할 수 있는가?
• RQ2 제안된 GAN 프레임워크는 이동 환경에서 ERP 신호의 신호 대 잡음비(SNR)를 어느 정도 향상시키는가?
• RQ3 재구성된 EEG 신호가 이동형 BMI 시스템에서 사용자 의도의 신뢰성 있는 분류를 위해 충분한 품질을 유지하는가?
• RQ4 재구성된 신호의 분류 성능는 원시 노이즈가 많은 신호와 깨끗한 정적 상태 신호와 비교해 어떻게 되는가?
• RQ5 생성 모델은 다양한 그러나 생리적으로 타당한 ERP 웨이브포맷을 생성할 수 있는가? 이는 핵심 신경 특징을 유지하는가?

주요 결과

• 재구성된 EEG 신호는 N200 및 P300 성분을 성공적으로 유지하였으며, 정적 상태에서 기록된 ERP 웨이브포맷과 유사하였다.
• 재구성된 EEG의 신호 대 잡음비(SNR)는 원시 보행 EEG보다 유의미하게 높았으며(p < 0.01), 정적 상태 신호의 SNR를 초월하기까지 하였다.
• 재구성된 신호의 분류 정확도(AUC)는 원시 노이즈가 많은 보행 데이터에서 유래되었음에도 불구하고 깨끗한 정적 상태 EEG의 수준과 유사하였다.
• 생성 모델은 낮은 평균 제곱 오차(MSE) 손실 0.6301을 달성하여 높은 복원 정밀도와 안정적인 훈련을 보였다.
• 시각적 점검 결과 재구성된 신호는 진짜 ERP 반응의 시간적 구조와 진폭 특성을 유지하고 있음을 확인하였다.
• 프레임워크는 생성 샘플의 다양성을 보여주었으며, 이는 모델이 다양한 입력 노이즈 신호로부터 다양한 그러나 현실적인 ERP 웨이브포맷을 학습하여 생성했다는 것을 의미한다.