[논문 리뷰] MASA-TCN: Multi-anchor Space-aware Temporal Convolutional Neural Networks for Continuous and Discrete EEG Emotion Recognition

Yi Ding, Su Zhang외 2명|arXiv (Cornell University)|2023. 08. 30.

EEG and Brain-Computer InterfacesNeuroscience인용 수 3

한 줄 요약

이 논문은 공간 인식 시간 컨볼루션 네트워크와 다중 앵커 주목적 융합 블록을 통합함으로써 EEG 기반 연속적이고 이산적인 정서 인식을 향상시키는 통합된 딥러닝 모델인 MASA-TCN을 제안한다. 이 모델은 공간적, 스펙트럼적, 시간적 패턴을 동시에 포착하여 두 개의 공개 EEG 데이터셋에서 연속적 및 이산적 정서 인식 작업 모두에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Emotion recognition using electroencephalogram (EEG) mainly has two scenarios: classification of the discrete labels and regression of the continuously tagged labels. Although many algorithms were proposed for classification tasks, there are only a few methods for regression tasks. For emotion regression, the label is continuous in time. A natural method is to learn the temporal dynamic patterns. In previous studies, long short-term memory (LSTM) and temporal convolutional neural networks (TCN) were utilized to learn the temporal contextual information from feature vectors of EEG. However, the spatial patterns of EEG were not effectively extracted. To enable the spatial learning ability of TCN towards better regression and classification performances, we propose a novel unified model, named MASA-TCN, for EEG emotion regression and classification tasks. The space-aware temporal layer enables TCN to additionally learn from spatial relations among EEG electrodes. Besides, a novel multi-anchor block with attentive fusion is proposed to learn dynamic temporal dependencies. Experiments on two publicly available datasets show MASA-TCN achieves higher results than the state-of-the-art methods for both EEG emotion regression and classification tasks. The code is available at https://github.com/yi-ding-cs/MASA-TCN.

연구 동기 및 목표

• 정서 인식 과정에서 EEG 전극 간의 공간 패턴을 포착하는 데에 기존 방법의 효과가 제한적인 문제를 해결한다.
• 다양한 시간 스케일에서의 동적 종속성을 학습함으로써 연속적 EEG 정서 회귀에 대한 시간 모델링을 향상시킨다.
• 연속적 정서 회귀(CER)와 이산적 정서 분류(DEC)를 하나의 딥러닝 프레임워크로 통합한다.
• 새로운 아키텍처를 통해 공간적, 스펙트럼적, 시간적 표현을 융합하여 모델 성능을 향상시킨다.
• CER 및 DEC 작업 모두에서 최신 기술 수준의 방법들에 비해 공개 EEG 정서 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• EEG 전극 간의 공간적 관계를 명시적으로 모델링할 수 있도록 공간 인식 시간(SAT) 레이어를 제안한다.
• 확장된 컨볼루션을 사용하여 다중 수용영역에서 시간 역동성을 포착하는 다중 앵커 주목적 융합(MAAF) 블록을 도입한다.
• 다양한 스케일의 시간 특징 간에 주목적 융합을 적용하여 정서 예측에 관련된 시간 패턴을 강조한다.
• CER 및 DEC 작업에 공통된 백본을 사용하며, 회귀기 출력에 평균 융합 레이어를 적용하여 엔드 투 엔드 분류를 가능하게 한다.
• 주로 CCC를 사용하고, 향후 RMSE 및 PCC 통합을 통해 더 정밀한 회귀 성능 향상을 위한 손실 함수 조합으로 모델을 훈련시킨다.
• 수작업 특징 없이 원시 EEG 신호를 직접 활용하여 공간-시간 패턴의 엔드 투 엔드 학습을 가능하게 한다.

Figure 1: The architecture of our MASA-TCN. There are four main parts of MASA-TCN: feature extraction block, MAAF block, TCN block, and regression/classification block. A sequence of five four-EEG-channel sub-segments is utilized as an example. The k of SAT refers to the length of the kernel in the

실험 결과

연구 질문

• RQ1 통합된 딥러닝 모델이 연속적 및 이산적 EEG 기반 정서 인식 작업을 효과적으로 처리할 수 있는가?
• RQ2 EEG 전극 간의 공간 관계를 통합함으로써, 공간적 구조를 忽시하는 모델에 비해 정서 인식 성능이 얼마나 향상되는가?
• RQ3 다중 앵커 블록을 통한 다중 스케일 시간 모델링이 EEG 신호에서 동적 정서 상태 학습에 얼마나 기여하는가?
• RQ4 회귀기 출력의 평균을 분류 헤드로 사용할 경우, 표준 분류기 대비 이산적 정서 분류 성능이 향상되는가?
• RQ5 다양한 평가 지표(RMSE, PCC, CCC)는 정서 회귀 모델의 진정된 성능를 어떻게 반영하며, 모델 최적화에 가장 신뢰할 수 있는 지표는 무엇인가?

주요 결과

• MASA-TCN는 두 개의 공개 EEG 정서 데이터셋에서 연속적 정서 회귀 및 이산적 정서 분류 작업 모두에서 최신 기술 수준의 성능를 달성한다.
• 공간 인식 시간(SAT) 레이어의 포함으로 인해 EEG 전극 간의 공간 패턴을 효과적으로 모델링함으로써 성능 향상이 뚜렷하게 나타난다.
• 다중 앵커 주목적 융합(MAAF) 블록은 다양한 시간 스케일에서 복잡한 시간 역동성을 포착하여 회귀 정확도를 향상시킨다.
• 회귀기 출력의 평균을 분류 헤드로 사용함으로써 F1 스코어에 측정 가능한 향상이 나타나, 통합 아키텍처의 효과성을 입증한다.
• 평가 결과, 절대값의 상관관계와 일치도를 모두 반영하므로 RMSE나 PCC보다 CCC가 연속적 정서 회귀에 더 신뢰할 수 있는 지표임을 확인하였다.
• 모델은 정성적 정서 레이블에서는 더 잘 작동하지만, 급격한 진폭 변화에는 약한 성능를 보이며, 향후 연구에서 보다 개선된 정규화 필요성을 시사한다.

Figure 2: Space-aware temporal convolutional layer. The SAT has two types of convolutional kernels: context kernels that extract the spectral patterns channel by channel and spatial fusion kernels that learn spatial patterns across all the channels. A context kernel of size (4, 3) is utilized for ex