[논문 리뷰] miMamba: EEG-based Emotion Recognition with Multi-scale Inverted Mamba Models

Xin Zhou, Huang, Dawei외 2명|arXiv (Cornell University)|2024. 09. 11.

Emotion and Mood RecognitionPsychology인용 수 3

한 줄 요약

이 논문은 수동적인 시간-주파수 특성 추출에 의존하지 않고 다중 척도 시간적 의존성과 시공간 상호작용을 포착할 수 있도록 다중 척도 시간 블록(MSTB)과 시간-공간 융합 블록(TSFB)을 사용하는 새로운 EEG 기반 정서 인식 모델인 MS-iMamba를 제안한다. 원시 EEG 신호에서 직접 다중 척도 표현을 학습함으로써 전통적인 시간-주파수 특성 공학을 대체한다. 본 모델는 단 4채널의 EEG 신호만을 사용하여 DEAP, DREAMER, SEED 데이터셋에서 각각 94.86%, 94.94%, 91.36%의 최고 성능을 기록한다.

ABSTRACT

EEG-based emotion recognition holds significant potential in the field of brain-computer interfaces. A key challenge lies in extracting discriminative spatiotemporal features from electroencephalogram (EEG) signals. Existing studies often rely on domain-specific time-frequency features and analyze temporal dependencies and spatial characteristics separately, neglecting the interaction between local-global relationships and spatiotemporal dynamics. To address this, we propose a novel network called Multi-Scale Inverted Mamba (MS-iMamba), which consists of Multi-Scale Temporal Blocks (MSTB) and Temporal-Spatial Fusion Blocks (TSFB). Specifically, MSTBs are designed to capture both local details and global temporal dependencies across different scale subsequences. The TSFBs, implemented with an inverted Mamba structure, focus on the interaction between dynamic temporal dependencies and spatial characteristics. The primary advantage of MS-iMamba lies in its ability to leverage reconstructed multi-scale EEG sequences, exploiting the interaction between temporal and spatial features without the need for domain-specific time-frequency feature extraction. Experimental results on the DEAP, DREAMER, and SEED datasets demonstrate that MS-iMamba achieves classification accuracies of 94.86%, 94.94%, and 91.36%, respectively, using only four-channel EEG signals, outperforming state-of-the-art methods.

연구 동기 및 목표

• EEG 기반 정서 인식에서 수작업 시간-주파수 특성 추출의 한계를 해결하기 위해, 이는 시간 소모가 심하고 시간 정보를 손실하기 때문이다.
• 기존 모델에서 시간적 특성과 공간적 특성의 분리된 분석 문제를 해결하기 위해 시공간 역학을 보다 효과적으로 통합한다.
• 최소한의 EEG 채널로도 높은 성능을 달성하는 경량이며 엔드 투 엔드 딥 러닝 아키텍처를 개발한다.
• 복잡한 실생활 EEG 데이터 환경에서의 모델 일반화 능력과 강인성을 향상시킨다.
• 전두극 부위의 단 4채널 EEG만으로도 고정밀도 정서 인식의 가능성을 탐색한다. 이는 하드웨어 및 데이터 수집 부담을 줄일 수 있다.

제안 방법

• 다양한 시간 척도에서 EEG 시계열을 처리하는 다중 척도 시간 블록(MSTB)을 제안하여 국소적 세부 정보와 전반적 의존성을 모두 포착한다.
• 역전된 Mamba 아키텍처를 기반으로 한 시간-공간 융합 블록(TSFB)을 도입하여 시간 역학과 전극 간 공간적 관계 간의 동적 상호작용을 모델링한다.
• 기존의 전통적인 시간-주파수 특성 공학을 원시 EEG 신호에서 직접 학습된 다중 척도 표현으로 대체한다.
• MSTB 및 TSFB 모듈을 플러그-앤플레이 구조로 설계하여 다양한 EEG 기반 정서 인식 프레임워크에 모듈식으로 통합할 수 있도록 한다.
• 시간 단위를 서브시퀀스 수준의 패치로 그룹화하는 패치 기반 분할 전략을 사용하여 시간 연속성을 유지하면서도 특성 표현을 향상시킨다.
• Mamba의 상태공간 모델-SSM 기반 메커니즘을 활용하여 EEG 시계열 간 장거리 시간적 의존성을 효율적으로 모델링한다.

실험 결과

연구 질문

• RQ1 도메인 특화된 시간-주파수 특성에 의존하지 않고도 다중 척도 시간 모델링 접근 방식이 EEG 기반 정서 인식 성능을 향상시킬 수 있는가?
• RQ2 Mamba 아키텍처 기반의 시공간 융합 블록은 EEG 채널 간 상호작용과 시간 역학 간의 동적 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 전체 머리 장비 대비 전두극 부위의 단 4채널 EEG만을 사용할 경우 정서 인식 성능에 어떤 영향을 미치는가?
• RQ4 MSTB 및 TSFB 모듈의 조합이 다양한 EEG 데이터셋 간 모델 일반화 능력과 강인성을 얼마나 향상시키는가?
• RQ5 제한된 데이터에서 교차 피험자 및 교차 세션 정서 인식 시나리오에서 제안된 모델의 성능은 어떠한가?

주요 결과

• MS-iMamba는 단 4채널 EEG 신호만을 사용하여 DEAP 데이터셋에서 94.86%의 분류 정확도를 달성하며, 기존 최고 성능(SOTA) 방법을 뛰어넘는다.
• DREAMER 데이터셋에서는 94.94%의 정확도를 기록하여 연속적인 정서 인식 작업에서 뛰어난 성능을 보여준다.
• SEED 데이터셋에서는 91.36%의 정확도를 달성하여 다양한 정서 상태 및 데이터 분포 간 효과적인 일반화 능력을 입증한다.
• TSFB 모듈이 MSTB보다 더 뚜렷한 성능 향상 기여를 하며, 특히 복잡하고 고차원적인 데이터 환경에서 두드러진다.
• MSTB와 TSFB 모듈의 조합은 개별 구성 요소보다 뛰어난 성능을 내며, 특성 학습에서 상호보완적 이점을 입증한다.
• 피험자 내 설정에서는 뛰어난 성능를 보였지만, 교차 피험자 및 교차 세션 시나리오에서는 성능이 열악한 편이었으며, 이는 향후 데이터 효율적 적응 기법이 필요함을 시사한다.