[논문 리뷰] Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening

Panayu Keelawat, Nattapong Thammasan외 2명|arXiv (Cornell University)|2019. 10. 22.

EEG and Brain-Computer Interfaces참고 문헌 23인용 수 10

한 줄 요약

이 연구는 음악 청취 중 에이전트 신경 신호를 이용한 시공간 정서 인식을 위한 딥 컨volution 신경망(CNN)을 제안한다. 다양한 시간 창 크기와 전극 구성에 대한 분석을 통해, 주관 독립형 교차검증에서 SVM보다 뛰어난 성능을 달성하며, 정서 반응과 연결된 동적 뇌 신호 패턴을 포착하는 데서 CNN의 효과성을 입증한다.

ABSTRACT

Emotion recognition based on EEG has become an active research area. As one of the machine learning models, CNN has been utilized to solve diverse problems including issues in this domain. In this work, a study of CNN and its spatiotemporal feature extraction has been conducted in order to explore capabilities of the model in varied window sizes and electrode orders. Our investigation was conducted in subject-independent fashion. Results have shown that temporal information in distinct window sizes significantly affects recognition performance in both 10-fold and leave-one-subject-out cross validation. Spatial information from varying electrode order has modicum effect on classification. SVM classifier depending on spatiotemporal knowledge on the same dataset was previously employed and compared to these empirical results. Even though CNN and SVM have a homologous trend in window size effect, CNN outperformed SVM using leave-one-subject-out cross validation. This could be caused by different extracted features in the elicitation process.

연구 동기 및 목표

• 음악 청취 중 EEG를 이용한 정서 인식 성능에 시간 창 크기의 영향을 조사한다.
• EEG 기반 정서 분류에서 전극 순서가 공간적 특징 추출에 미치는 영향을 평가한다.
• 동일한 EEG 데이터셋에서 딥 CNN과 기존의 SVM 분류기 간의 성능을 비교한다.
• 모델의 일반화 능력을 주관 독립형 교차검증 설정에서 평가한다.

제안 방법

• 음악 청취 중 수집된 EEG 신호에서 시공간적 특징을 추출하기 위해 3D-CNN 아키텍처를 사용한다.
• 분류 정확도에 대한 영향을 분석하기 위해 시간 창 크기를 다양하게 조정한다.
• 전극 순서를 체계적으로 변경하여 공간적 특징 민감도와 몰타지 변형에 대한 강건성을 평가한다.
• 모델의 일반화 능력을 평가하기 위해 10겹 교차검증과 한 명의 피실험자를 제외한 교차검증을 사용한다.
• 원시 EEG 데이터를 기반으로 CNN을 엔드 투 엔드로 훈련시켜 계층적인 시간적 및 공간적 표현을 학습한다.
• 동일한 데이터셋과 정서 레이블을 사용한 이전의 SVM 기반 접근법과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 시간 창 크기의 선택이 EEG 기반 모델의 정서 인식 정확도에 어떻게 영향을 미치는가?
• RQ2 전극 순서가 EEG 기반 정서 분류에서 공간적 표현 품질에 얼마나 큰 영향을 미치는가?
• RQ3 딥 CNN과 기존의 SVM 간에 EEG 기반 정서 인식에서 성능 및 일반화 능력 측면에서 어떤 차이가 있는가?
• RQ4 CNN 모델은 주관 독립형 평가 프로토콜에서도 뛰어난 성능을 유지하는가?

주요 결과

• 시간 창 크기가 인식 성능에 크게 영향을 미치며, 최적의 창 크기에서는 10겹 교차검증과 한 명의 피실험자를 제외한 교차검증 모두에서 높은 정확도를 달성한다.
• 다양한 전극 순서에서 유도된 공간 정보는 분류 정확도에 미미한 영향을 미친다.
• 한 명의 피실험자를 제외한 교차검증에서 CNN 모델이 SVM 분류기보다 뛰어난 성능을 보이며, 새로운 피실험자에 대한 일반화 능력이 뛰어나다는 것을 시사한다.
• CNN과 SVM 간의 창 크기 영향의 추세는 유사하지만, CNN은 더 높은 절대 정확도를 달성하여 뛰어난 특징 학습 능력을 보인다.
• 이 연구는 딥 CNN이 음악 청취 중 정서 반응과 관련된 동적 시공간 패턴을 효과적으로 포착할 수 있음을 확인한다.
• 결과는 주관 독립적 상황에서 특히 EEG 기반 정서 인식에 엔드 투 엔드 딥 러닝을 사용할 것을 지지한다.