[논문 리뷰] DuA: Dual Attentive Transformer in Long-Term Continuous EEG Emotion Analysis

Yue Pan, Qile Liu외 7명|arXiv (Cornell University)|2024. 07. 30.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 장기적인 연속 EEG 정서 분석을 위한 이중 주의 메커니즘을 통합한 DuA, 즉 이중 주의 트랜스포머 프레임워크를 제안한다. 기존의 단일 간격으로 나누어진 분석 방식이 아닌, 전체 EEG 시험을 하나의 단위로 처리한다. 공간-스펙트럼 및 시간 주의 메커니즘을 통합하고 전이 학습을 적용함으로써, 시험 기반의 이종 환자 검증에서 기존 방법 대비 평균 정확도 향상 5.28%를 달성하여 다양한 길이의 EEG 데이터에서 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

Affective brain-computer interfaces (aBCIs) are increasingly recognized for their potential in monitoring and interpreting emotional states through electroencephalography (EEG) signals. Current EEG-based emotion recognition methods perform well with short segments of EEG data. However, these methods encounter significant challenges in real-life scenarios where emotional states evolve over extended periods. To address this issue, we propose a Dual Attentive (DuA) transformer framework for long-term continuous EEG emotion analysis. Unlike segment-based approaches, the DuA transformer processes an entire EEG trial as a whole, identifying emotions at the trial level, referred to as trial-based emotion analysis. This framework is designed to adapt to varying signal lengths, providing a substantial advantage over traditional methods. The DuA transformer incorporates three key modules: the spatial-spectral network module, the temporal network module, and the transfer learning module. The spatial-spectral network module simultaneously captures spatial and spectral information from EEG signals, while the temporal network module detects temporal dependencies within long-term EEG data. The transfer learning module enhances the model's adaptability across different subjects and conditions. We extensively evaluate the DuA transformer using a self-constructed long-term EEG emotion database, along with two benchmark EEG emotion databases. On the basis of the trial-based leave-one-subject-out cross-subject cross-validation protocol, our experimental results demonstrate that the proposed DuA transformer significantly outperforms existing methods in long-term continuous EEG emotion analysis, with an average enhancement of 5.28%.

연구 동기 및 목표

• 실생활에서 장기적인 정서 상태를 다룰 때 세그먼트 기반 EEG 정서 인식의 한계를 해결하기 위해.
• 전체 EEG 시험을 통합된 시퀀스로 처리할 수 있는 프레임워크를 개발하여 장기적인 시간적 의존성을 유지하기 위해.
• 전이 학습과 다중 모odal 주의를 통해 다양한 참가자와 조건 간의 모델 일반화 능력을 향상시키기 위해.
• 장기적인 EEG 시퀀스를 처리할 때 LSTMs와 같은 순환 모델에서 발생하는 기울기 소실 문제를 극복하기 위해.
• 정서 인식에 적합하고 확장 가능한 트랜스포머 기반 아키텍처를 구축하여 지속적인 시험 수준의 정서 인식을 가능하게 하기 위해.

제안 방법

• DuA 프레임워크는 다중 헤드 자기주의 주의를 사용하여 EEG 신호로부터 공간적 및 스펙트럼적 특징을 동시에 캡처하는 공간-스펙트럼 네트워크 모듈을 활용한다.
• 전용 시간 네트워크 모듈은 다중 헤드 자기주의 주의를 통해 전체 EEG 시험 시퀀스의 장거리 의존성을 모델링한다.
• 전이 학습 모듈은 다양한 데이터 분포에서의 피니팅을 통해 이종 환자 및 이종 조건 간의 일반화 능력을 향상시킨다.
• 모델은 전체 길이의 EEG 시험을 종단 간 처리 방식으로 처리하여 짧은 세그먼트 분석에서 기인하는 분할 편향을 피한다.
• 주의 헤드 수, 네트워크 깊이, 히든 사이즈 등의 하이퍼파rameter 민감도 분석을 수행하여 강건성과 효율성 확보.
• 실제 운영 환경을 시뮬레이션하기 위해 시험 기반의 한 명의 참가자를 제외한 교차 검증 프로토콜을 적용하여 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 짧은 세그먼트에 의존하지 않고 전체 장기적인 EEG 시험을 하나의 단위로 효과적으로 처리하여 정서 인식을 수행할 수 있는가?
• RQ2 공간-스펙트럼 및 시간 주의의 통합이 연속적인 EEG 데이터에서 정확도 향상에 어떻게 기여하는가?
• RQ3 전이 학습 모듈이 다양한 참가자와 정서 조건 간의 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 LSTM과 같은 순환 모델에 비해 DuA 프레임워크는 장기적인 EEG 시퀀스 처리에서 어떻게 성능을 냅니다?
• RQ5 최적의 성능를 달성하면서도 민감도와 계산 비용이 최소화되는 하이퍼파rameter 설정은 무엇인가?

주요 결과

• DuA 트랜스포머는 여러 데이터베이스에서 시험 기반의 한 명의 참가자를 제외한 교차 검증에서 기존 방법 대비 평균 정확도 향상 5.28%를 달성한다.
• 시간 네트워크 모듈은 2-클래스 분류에서 LSTM 대비 7.00%, 3-클래스에서 15.00%, 5-클래스에서 12.84% 높은 성능를 보이며, 장기 시퀀스 모델링 능력이 뛰어나다는 것을 입증한다.
• 모델은 하이퍼파rameter 변화에 대해 낮은 민감도를 보이며, 주의 헤드 수, 레이어 수, 히든 사이즈의 중간 수준의 값으로도 최적의 성능를 달성할 수 있다.
• 트랜스포머에서 자동 회귀 계산이 없어 기울기 소실 문제가 발생하지 않아 장기적인 EEG 시퀀스에서 효과적인 학습이 가능하다.
• 공간-스펙트럼 모듈은 공간적 및 스펙트럼적 EEG 특징을 보완적으로 캡처하여 표현 품질을 향상시켰다.
• 전이 학습 모듈은 참가자 간 성능 향상에 크게 기여하여 다양한 참가자 간 일반화에서의 중요성을 확인시켰다.