[論文レビュー] miMamba: EEG-based Emotion Recognition with Multi-scale Inverted Mamba Models

Xin Zhou, Huang, Dawei+2 more|arXiv (Cornell University)|Sep 11, 2024

Emotion and Mood RecognitionPsychology被引用数 3

ひとこと要約

本稿では、手動の時間周波数特徴抽出に依存せずに、マルチスケールの時間的依存性と空間的・時間的相互作用を捉えるために、マルチスケール時間ブロック（MSTB）と時間的空間的統合ブロック（TSFB）を用いた新規なEEGベースの感情認識モデル、MS-iMambaを提案する。本モデルは、4チャンネルのEEG信号のみを用いて、DEAP、DREAMER、SEEDデータセットでそれぞれ94.86%、94.94%、91.36%の最先端の精度を達成した。

ABSTRACT

EEG-based emotion recognition holds significant potential in the field of brain-computer interfaces. A key challenge lies in extracting discriminative spatiotemporal features from electroencephalogram (EEG) signals. Existing studies often rely on domain-specific time-frequency features and analyze temporal dependencies and spatial characteristics separately, neglecting the interaction between local-global relationships and spatiotemporal dynamics. To address this, we propose a novel network called Multi-Scale Inverted Mamba (MS-iMamba), which consists of Multi-Scale Temporal Blocks (MSTB) and Temporal-Spatial Fusion Blocks (TSFB). Specifically, MSTBs are designed to capture both local details and global temporal dependencies across different scale subsequences. The TSFBs, implemented with an inverted Mamba structure, focus on the interaction between dynamic temporal dependencies and spatial characteristics. The primary advantage of MS-iMamba lies in its ability to leverage reconstructed multi-scale EEG sequences, exploiting the interaction between temporal and spatial features without the need for domain-specific time-frequency feature extraction. Experimental results on the DEAP, DREAMER, and SEED datasets demonstrate that MS-iMamba achieves classification accuracies of 94.86%, 94.94%, and 91.36%, respectively, using only four-channel EEG signals, outperforming state-of-the-art methods.

研究の動機と目的

• EEGベースの感情認識における手動の時間周波数特徴抽出の限界を克服すること。これは時間消費的であり、時間的情報を損なう。
• 従来のモデルが時間的特徴と空間的特徴を分離して分析する問題に対処し、より効果的に時間的空間的ダイナミクスを統合すること。
• 最小限のEEGチャンネル数で高い性能を達成する、軽量でエンドツーエンドのディーブラーニングアーキテクチャを構築すること。
• 複雑で現実世界のEEGデータ環境において、モデルの汎化性能とロバスト性を向上させること。
• 4つの前頭極部EEGチャンネルのみを用いて高精度な感情認識が可能かどうかを検証すること。これにより、ハードウェアおよびデータ収集の負担を軽減できる。

提案手法

• EEGシーケンスを複数の時間スケールで処理するマルチスケール時間ブロック（MSTB）を提案し、局所的詳細とグローバルな依存関係の両方を捉える。
• 逆転Mamba構造に基づく時間的空間的統合ブロック（TSFB）を導入し、時間的ダイナミクスと空間的電極関係間の動的相互作用をモデル化する。
• 従来の時間周波数特徴工学を、生のEEG信号から直接学習されたマルチスケール表現に置き換える。
• MSTBおよびTSFBモジュールをプラグアンドプレイ設計として実装し、さまざまなEEGベースの感情認識フレームワークへのモジュラー統合を可能にする。
• 時間ステップをサブシーケンスレベルのパッチにグループ化するパッチベースのセグメンテーション戦略を採用し、時間的連続性を損なわずに特徴表現を強化する。
• Mambaの状態空間モデル（SSM）機構を活用し、EEGシーケンス全体にわたる長距離時間的依存関係を効率的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化の時間周波数特徴に依存せずに、マルチスケール時間モデリングアプローチがEEGベースの感情認識を向上させられるか？
• RQ2 Mambaアーキテクチャに基づく時間的空間的統合ブロックは、EEGチャネル間および時間的ダイナミクス間の動的相互作用をどの程度効果的に捉えられるか？
• RQ3 フルヘッドセットと比較して、4つの前頭極部EEGチャンネルのみを用いる場合、認識性能にどの程度の影響が生じるか？
• RQ4 MSTBとTSFBモジュールの組み合わせが、多様なEEGデータセット間でモデルの汎化性能とロバスト性をどの程度向上させるか？
• RQ5 限られたデータ条件下で、クロスサブジェクトおよびクロスセッションの感情認識シナリオにおける本手法の性能はいかがなものか？

主な発見

• MS-iMambaは、4チャンネルのEEG信号のみを用いて、DEAPデータセットで94.86%の分類精度を達成し、SOTA手法を上回った。
• DREAMERデータセットでは94.94%の精度を達成し、連続的で感情認識タスクにおける強力な性能を示した。
• SEEDデータセットでは91.36%の精度に達し、異なる感情状態およびデータ分布間での有効な汎化性能を示した。
• TSFBモジュールは、MSTBよりも顕著に性能向上に寄与しており、特に高次元で複雑なデータ環境下で顕著であった。
• MSTBとTSFBの組み合わせは、個々のモジュールよりも優れた性能を発揮し、特徴学習における相乗効果を示した。
• 被験者内設定では優れた性能を示したが、クロスサブジェクトおよびクロスセッションのシナリオではやや劣った結果を示し、今後のデータ効率の高い適応手法の必要性が示された。