[논문 리뷰] TSception: A Deep Learning Framework for Emotion Detection Using EEG

Yi Ding, Neethu Robinson외 5명|arXiv (Cornell University)|2020. 04. 02.

EEG and Brain-Computer Interfaces참고 문헌 39인용 수 10

한 줄 요약

TSception은 다중 척도 1차원 컨볼루션 커널을 사용하여 시간적 및 공간적 표현을 동시에 학습하는 새로운 딥러닝 프레임워크로, 가상현실 환경에서 낮고 높은 정서적 각성 상태를 구분하는 데 86.03%의 분류 정확도를 달성하여, SVM, EEGNet 및 LSTM 모델보다 유의하게 뛰어나다 (p < 0.05).

ABSTRACT

In this paper, we propose a deep learning framework, TSception, for emotion detection from electroencephalogram (EEG). TSception consists of temporal and spatial convolutional layers, which learn discriminative representations in the time and channel domains simultaneously. The temporal learner consists of multi-scale 1D convolutional kernels whose lengths are related to the sampling rate of the EEG signal, which learns multiple temporal and frequency representations. The spatial learner takes advantage of the asymmetry property of emotion responses at the frontal brain area to learn the discriminative representations from the left and right hemispheres of the brain. In our study, a system is designed to study the emotional arousal in an immersive virtual reality (VR) environment. EEG data were collected from 18 healthy subjects using this system to evaluate the performance of the proposed deep learning network for the classification of low and high emotional arousal states. The proposed method is compared with SVM, EEGNet, and LSTM. TSception achieves a high classification accuracy of 86.03%, which outperforms the prior methods significantly (p&lt;0.05). The code is available at https://github.com/deepBrains/TSception

연구 동기 및 목표

• 원시 뇌파 신호에서 시간적 및 공간적 패턴을 효과적으로 포착할 수 있는 엔드 투 엔드 딥러닝 프레임워크를 개발하는 것.
• 뇌파 기반 정서 분류에서 수작업 특징 추출 및 얕은 모델의 한계를 극복하기 위해 계층적이고 학습 가능한 표현을 활용하는 것.
• 앞부분 뇌 정서 비대칭성을 활용하기 위해 각 반구별로 특화된 공간 커널을 설계하여 분류 성능 향상에 기여하는 공간 표현을 강화하는 것.
• 통제된 몰입형 가상현실 환경에서 제안된 프레임워크를 평가하여 실제 세계의 정서 각성 상태를 모의하는 것.
• 기존 방법들인 SVM, EEGNet 및 LSTM과 비교하여 낮은 대비 높은 정서 각성 상태 분류에서 뛰어난 성능을 입증하는 것.

제안 방법

• TSception은 뇌파 신호에서 상호보완적인 표현을 추출하기 위해 시간 학습자와 공간 학습자로 구성된 이중 브랜치 아키텍처를 사용한다.
• 시간 학습자는 뇌파 샘플링 주파수 비례로 크기가 조정된 다중 척도 1차원 컨볼루션 커널을 사용하여 다양한 시간적 및 주파수 도메인 패턴을 포착한다.
• 공간 학습자는 비대칭적이며 반구별로 특화된 커널을 적용하여 좌우 앞부분 뇌 영역에서의 차별화된 정서 반응을 모델링한다.
• 수작업 특징 공학 없이 원시 뇌파 데이터를 직접 처리함으로써 분류 가능한 시공간 특징의 엔드 투 엔드 학습을 가능하게 한다.
• 최종 분류 레이어 이전에 시간적 및 공간적 특징을 순차적으로 융합하여 모델 파라미터를 감소시키고 과적합을 완화한다.
• 모델는 교차 엔트로피 손실과 확률적 경사 하강법을 사용하여 훈련되며, 주체별 및 한 세션을 제외한 교차 검증 프로토콜을 통해 평가된다.

실험 결과

연구 질문

• RQ1 시간적 및 공간적 뇌파 패턴을 동시에 모델링하는 딥러닝 프레임워크가 기존 방법에 비해 정서 각성 감지의 분류 정확도를 향상시킬 수 있는가?
• RQ2 다중 척도 시간적 컨볼루션 커널의 사용이 다양한 주파수 대역에서의 동적 뇌파 신호 표현을 어떻게 향상시키는가?
• RQ3 반구별로 특화된 공간 커널을 통해 앞부분 뇌 정서 비대칭성을 활용할 경우 분류 성능 향상 정도는 어느 정도인가?
• RQ4 시간적 및 공간적 학습 구성 요소를 통합함으로써 단일 모odal 모델 대비 더 나은 일반화 성능과 과적합 감소 효과를 얻을 수 있는가?
• RQ5 동일한 뇌파 기반 정서 각성 분류 작업에서 최신 기술인 EEGNet, 수작업 특징을 사용한 SVM 및 LSTM과 비교해 TSception의 성능은 어떠한가?

주요 결과

• TSception은 낮고 높은 정서 각성 상태를 구분하는 데 최고의 분류 정확도 86.03%를 달성하여, DE 특징을 사용한 SVM(82.23%) 및 EEGNet(79.96%)보다 유의미하게 뛰어나다 (p < 0.05).
• 시간 및 공간 학습자를 모두 포함한 모델(TSception)은 공간 전용 버전(Sception, 77.39%)보다 8.34% 높은 정확도를 기록했으며, 시간 전용 버전(Tception, 83.9%)보다는 2.4% 높았다.
• Tception(822,671개 파라미터)보다 더 적은 학습 가능한 파라미터(53,483개)를 가짐에도 불구하고 TSception은 뛰어난 성능을 달성하여 효율적인 특징 학습과 과적합 감소를 시사한다.
• 시간 학습자가 공간 학습자보다 분류 성능에 더 큰 기여를 했음을 증명하는 바, Tception(83.9%)의 정확도가 Sception(77.39%)보다 높다.
• 시간 및 공간 학습의 조합은 개별 구성 요소의 성능 합을 초월하여 성능 향상을 이끌어내어 상호보완적 정보의 유용성을 입증한다.
• 모델의 성능는 주체 간에 뛰어난 안정성을 보였으며, 표준편차 8.99%를 기록하여 주체별 평가에서 일관된 일반화 성능을 입증했다.