[논문 리뷰] Positional-Spectral-Temporal Attention in 3D Convolutional Neural Networks for EEG Emotion Recognition

Jiyao Liu, Yanxi Zhao외 2명|arXiv (Cornell University)|2021. 10. 13.

EEG and Brain-Computer Interfaces참고 문헌 40인용 수 10

한 줄 요약

이 논문은 EEG 기반 정서 인식을 향상시키기 위해 위치, 스펙트럼 및 시간적 주의 메커니즘을 통합한 새로운 3D-CNN 모듈인 PST-Attention을 제안한다. 공간적 뇌 영역 활성화, 주파수 대역의 중요도, 시간적 동역학을 학습함으로써 SEED 데이터셋에서 95.76%의 최고 성능 정확도와 SEED-IV에서 82.73%의 정확도를 달성하여 적응형 주의 가중치를 통해 향상된 특징 구분 능력과 강인성을 입증한다.

ABSTRACT

Recognizing the feelings of human beings plays a critical role in our daily communication. Neuroscience has demonstrated that different emotion states present different degrees of activation in different brain regions, EEG frequency bands and temporal stamps. In this paper, we propose a novel structure to explore the informative EEG features for emotion recognition. The proposed module, denoted by PST-Attention, consists of Positional, Spectral and Temporal Attention modules to explore more discriminative EEG features. Specifically, the Positional Attention module is to capture the activate regions stimulated by different emotions in the spatial dimension. The Spectral and Temporal Attention modules assign the weights of different frequency bands and temporal slices respectively. Our method is adaptive as well as efficient which can be fit into 3D Convolutional Neural Networks (3D-CNN) as a plug-in module. We conduct experiments on two real-world datasets. 3D-CNN combined with our module achieves promising results and demonstrate that the PST-Attention is able to capture stable patterns for emotion recognition from EEG.

연구 동기 및 목표

• 정서 인식에서 불안정하고 노이즈가 많은 EEG 신호 문제를 해결하기 위해 상호보완적인 공간, 스펙트럼 및 시간 특징을 활용한다.
• 다양한 차원에서 분류 능력을 향상시키는 통합적이고 적응형 주의 메커니즘을 개발한다.
• EEG 데이터에서 정보가 많은 뇌 영역, 핵심 주파수 대역, 중요한 시간 세그먼트에 집중함으로써 모델 성능을 향상시킨다.
• 기존의 딥러닝 파ip라인에 효율적으로 통합할 수 있도록 3D-CNN과 호환되는 플러그인 모듈을 구축한다.

제안 방법

• 공간, 스펙트럼 및 시간적 관계를 유지하기 위해 EEG 특징을 4D 텐서(배치, 높이, 너비, 시간)로 재구성한다.
• 병렬 PST-Attention 모듈을 도입하며, 이는 세 가지 하위 모듈로 구성된다: 공간 특징 가중치를 위한 위치 주의, 주파수 대역 선택을 위한 스펙트럼 주의, 시간 세그먼트 우선순위를 위한 시간 주의.
• 각 주의 헤드는 쿼리-키-밸류 기반으로 학습 가능한 가중치를 계산하며, 안정성을 위해 잔차 연결과 레이어 정규화를 적용한다.
• 4D 표현은 3D-CNN 기반 모델에 입력되며, PST-Attention은 각 레이어에서 특징 맵을 동적으로 재보정한다.
• 주의 모듈은 미분 가능하고 엔드 투 엔드로 훈련 가능하여 공간, 스펙트럼 및 시간 주의를 함께 최적화할 수 있다.
• 모델은 두 가지 벤치마크 EEG 정서 인식 데이터셋인 SEED 및 SEED-IV에서 평가된다.

실험 결과

연구 질문

• RQ1 공간, 스펙트럼 및 시간 차원을 동시에 모델링하는 통합 주의 메커니즘이 EEG 기반 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 위치, 스펙트럼 및 시간 주의 구성 요소가 개별적으로나 공동으로 모델 성능에 어떤 기여를 하는가?
• RQ3 제안된 4D EEG 표현이 3D 또는 2D 표현에 비해 특징 구분 능력을 향상시키는가?
• RQ4 PST-Attention이 실제 EEG 데이터에서 불필요한 특징과 노이즈를 어느 정도 억제하는가?

주요 결과

• PST-Attention를 통합한 3D-CNN은 SEED 데이터셋에서 평균 정확도 95.76%를 기록하여 표 1에 나열된 모든 경쟁 방법보다 뛰어난 성능을 보였다.
• SEED-IV 데이터셋에서는 평균 정확도 82.73%와 표준편차 8.96%를 기록하여 개선된 강인성과 안정성을 입증하였다.
• 제거 실험 결과, 위치 주의(P-Attention)와 스펙트럼 주의(S-Attention)가 시간 주의보다 더 뚜렷한 기여를 하였으며, P-Attention는 정확도를 3.27% 향상시키고 S-Attention는 2.47% 향상시켰다.
• 세 가지 주의 모듈을 모두 통합한 결과 기반 3D-CNN 대비 9.81%의 정확도 향상을 달성하여 상호보완적 이점이 있음을 입증하였다.
• 고수준 특징의 시각화 결과, PST-Attention를 사용할 경우 클래스 간 분리도가 높아져 더 나은 분류 능력을 보였다.
• 4D 표현은 SEED 데이터셋에서 92.79%의 평균 정확도를 기록하여 3D 표현(VHS, VHT 등)보다 뛰어난 성능을 보였으며, 이는 그 효과를 확인한 것이다.