[논문 리뷰] Boosted Convolutional Neural Networks for Motor Imagery EEG Decoding with Multiwavelet-based Time-Frequency Conditional Granger Causality Analysis

Yang Li, Meng-Ying Lei외 5명|arXiv (Cornell University)|2018. 10. 22.

EEG and Brain-Computer Interfaces참고 문헌 44인용 수 4

한 줄 요약

이 논문은 다중웨이블릿 기반 시간-주파수 조건부 그랜저 인과성(TF-CGC)을 활용하여 구분 가능한 시공간 연결성 특징을 추출함으로써, 모터 이미지 EEG 복원을 위한 강화된 컨volutional 신경망(ConvNet) 프레임워크를 제안한다. 제안된 방법은 BCI 경연 대회 IV 데이터셋 IIa에서 경쟁자 승자 대비 평균 정확도가 12.15% 높고, 피험자 간 표준편차는 74.02% 낮아, 성능이 향상됨을 입증하였다.

ABSTRACT

Decoding EEG signals of different mental states is a challenging task for brain-computer interfaces (BCIs) due to nonstationarity of perceptual decision processes. This paper presents a novel boosted convolutional neural networks (ConvNets) decoding scheme for motor imagery (MI) EEG signals assisted by the multiwavelet-based time-frequency (TF) causality analysis. Specifically, multiwavelet basis functions are first combined with Geweke spectral measure to obtain high-resolution TF-conditional Granger causality (CGC) representations, where a regularized orthogonal forward regression (ROFR) algorithm is adopted to detect a parsimonious model with good generalization performance. The causality images for network input preserving time, frequency and location information of connectivity are then designed based on the TF-CGC distributions of alpha band multichannel EEG signals. Further constructed boosted ConvNets by using spatio-temporal convolutions as well as advances in deep learning including cropping and boosting methods, to extract discriminative causality features and classify MI tasks. Our proposed approach outperforms the competition winner algorithm with 12.15% increase in average accuracy and 74.02% decrease in associated inter subject standard deviation for the same binary classification on BCI competition-IV dataset-IIa. Experiment results indicate that the boosted ConvNets with causality images works well in decoding MI-EEG signals and provides a promising framework for developing MI-BCI systems.

연구 동기 및 목표

• 뇌-컴퓨터 인터페이스(BCI)를 위한 모터 이미지(MI) EEG 복원에서 비정상적인 인지적 결정 과정의 문제를 해결한다.
• 모터 이미지-EEG 신호 복원에서 피험자 간 정확도와 강건성을 향상시킨다.
• 시간, 주파수, 공간 연결성 정보를 유지하는 데이터 기반의 인과성 인식 특징 표현을 개발한다.
• 특히 시공간 컨볼루션, 크롭핑, 부스팅 기법을 통합한 유일한 프레임워크를 통해 고도화된 딥러닝 기법을 EEG 복원에 통합한다.
• 향후 세대의 MI-BCI 시스템을 위한 확장 가능하고 일반화 가능한 프레임워크를 제공한다. 이는 피험자 간 성능 일관성을 향상시킨다.

제안 방법

• 고해상도 시간-주파수 조건부 그랜저 인과성(TF-CGC) 표현을 계산하기 위해 다중웨이블릿 기저 함수와 게바케 스펙트럼 측도를 조합한다.
• 정규화된 수직 전진 회귀(ROFR) 알고리즘을 적용하여 간결하고 일반화 가능한 TF-CGC 모델을 식별한다.
• 시공간 연결 패턴을 시간, 주파수, 공간적으로 인코딩한 인과성 이미지를 알파 대역의 다중채널 EEG 신호에서 구성하여 딥 네트워크의 입력으로 사용한다.
• 시공간 컨볼루션을 활용한 강화된 ConvNet 아키텍처를 설계하여 인과성 이미지에서 계층적인 구분 가능한 특징을 추출한다.
• 제한된 EEG 데이터에서의 모델 일반화 능력과 성능 향상을 위해 데이터 증강 및 부스팅 기법을 통합한다.
• 교차 엔트로피 손실과 적응형 학습률 스케줄링을 사용한 엔드 투 엔드 학습을 통해 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 기존의 스펙트럼 또는 시간 도메인 특징에 비해, 다중웨이블릿 기반 시간-주파수 조건부 그랜저 인과성은 모터 이미지 EEG 신호에 대해 더 정보적이고 구분 가능한 표현을 제공할 수 있는가?
• RQ2 TF-CGC에서 유도된 인과성 이미지는 이진 모터 이미지 작업 복원에서 딥러닝 모델의 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 기준 EEG 데이터셋에서 제안된 강화된 ConvNet 프레임워크는 최신 기술 대비 정확도 및 피험자 간 변동성 측면에서 어떻게 비교되는가?
• RQ4 시공간 컨볼루션과 부스팅 기법의 통합은 EEG 복원에서 특징 학습 및 분류 강건성을 향상시키는가?
• RQ5 제안된 방법은 고정된 높은 복원 정확도를 유지하면서도 피험자 간 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 BCI 경연 대회 IV 데이터셋 IIa에서 경쟁자 승자 대비 평균 분류 정확도가 12.15% 향상되었다.
• 피험자 간 표준편차는 경쟁자 승자 대비 74.02% 감소하여, 피험자 간 강건성과 일관성이 크게 향상됨을 시사한다.
• 인과성 이미지가 시간, 주파수, 공간 연결성 정보를 효과적으로 유지하여, 모델이 EEG 연결성 동역학으로부터 구분 가능한 패턴을 학습할 수 있도록 하였다.
• 강화된 ConvNet 아키텍처는 표준 ConvNet과 전통적 방법에 비해 정확도 및 일반화 능력 측면에서 뛰어난 특징 추출 능력을 보였다.
• ROFR를 통한 모델 선택은 과적합을 최소화하고 해석 가능성을 향상시켜 간결하면서도 효과적인 TF-CGC 표현을 보장하였다.
• 다중웨이블릿 기반 TF-CGC와 딥러닝의 통합은 실시간 및 강건한 MI-BCI 시스템을 위한 유망한 확장 가능한 프레임워크를 제공한다.