[論文レビュー] MASA-TCN: Multi-anchor Space-aware Temporal Convolutional Neural Networks for Continuous and Discrete EEG Emotion Recognition

Yi Ding, Su Zhang+2 more|arXiv (Cornell University)|Aug 30, 2023

EEG and Brain-Computer InterfacesNeuroscience被引用数 3

ひとこと要約

本論文では、空間認識型時系列畳み込みネットワークとマルチアンカー注意融合ブロックを統合することで、連続的および離散的感情認識の両方を向上させる統合型ディープラーニングモデル MASA-TCN を提案する。このモデルは空間的・スペクトル的・時系列的パターンを同時に捉え、2つの公開 EEG データセットにおいて、回帰および分類タスクの両方で最先端の性能を達成した。

ABSTRACT

Emotion recognition using electroencephalogram (EEG) mainly has two scenarios: classification of the discrete labels and regression of the continuously tagged labels. Although many algorithms were proposed for classification tasks, there are only a few methods for regression tasks. For emotion regression, the label is continuous in time. A natural method is to learn the temporal dynamic patterns. In previous studies, long short-term memory (LSTM) and temporal convolutional neural networks (TCN) were utilized to learn the temporal contextual information from feature vectors of EEG. However, the spatial patterns of EEG were not effectively extracted. To enable the spatial learning ability of TCN towards better regression and classification performances, we propose a novel unified model, named MASA-TCN, for EEG emotion regression and classification tasks. The space-aware temporal layer enables TCN to additionally learn from spatial relations among EEG electrodes. Besides, a novel multi-anchor block with attentive fusion is proposed to learn dynamic temporal dependencies. Experiments on two publicly available datasets show MASA-TCN achieves higher results than the state-of-the-art methods for both EEG emotion regression and classification tasks. The code is available at https://github.com/yi-ding-cs/MASA-TCN.

研究の動機と目的

• 感情認識の際、EEG 電極間の空間パターンを捉えることが従来手法で限定的であることを解決する。
• 複数の時間スケールにわたる動的依存関係を学習することで、連続的 EEG 感情回帰のための時系列モデリングを向上させる。
• 連続的感情回帰（CER）と離散的感情分類（DEC）を1つのディープラーニングフレームワークに統合する。
• 空間的・スペクトル的・時系列的表現を新規アーキテクチャで統合することで、モデル性能を向上させる。
• CER および DEC タスクの両方において、最先端の手法と比較して優れた性能を示す。

提案手法

• EEG 電極間の空間的関係を明示的にモデル化できる空間認識型時系列（SAT）層を提案する。
• ドーナツ型畳み込みを用いて複数の受容野で時間的ダイナミクスを捉えるマルチアンカー注意融合（MAAF）ブロックを導入する。
• 多スケールの時系列特徴に注意を用いた統合を施し、感情予測に適した時間的パターンを強調する。
• CER および DEC タスクに共通のバックボーンを用い、回帰器出力に平均値統合層を適用することで、エンドツーエンド分類を可能にする。
• 主に CCC を用いた損失関数の組み合わせでモデルを訓練するが、将来的には RMSE および PCC の統合を検討し、より詳細な回帰を向上させる。
• 手作業で特徴を抽出せず、生の EEG 信号を直接利用することで、空間的・時系列的パターンのエンドツーエンド学習を実現する。

Figure 1: The architecture of our MASA-TCN. There are four main parts of MASA-TCN: feature extraction block, MAAF block, TCN block, and regression/classification block. A sequence of five four-EEG-channel sub-segments is utilized as an example. The k of SAT refers to the length of the kernel in the

実験結果

リサーチクエスチョン

• RQ1 統合型ディープラーニングモデルは、連続的および離散的 EEG に基づく感情認識タスクを効果的に処理できるか？
• RQ2 EEG 電極間の空間的関係を組み込むことで、空間構造を無視するモデルと比較して、感情認識性能がどの程度向上するか？
• RQ3 マルチアンカー・ブロックによる多スケール時系列モデリングは、EEG 信号における動的感情状態の学習をどの程度向上させるか？
• RQ4 回帰器出力の平均値を分類ヘッドとして用いることで、標準的な分類器と比較して離散的感情分類の性能が向上するか？
• RQ5 異なる評価指標（RMSE、PCC、CCC）は、感情回帰モデルの真の性能をどの程度的確に反映するか？また、モデル最適化において最も信頼性が高いのはどれか？

主な発見

• MASA-TCN は、2つの公開 EEG 感情データセットにおいて、連続的感情回帰および離散的感情分類の両タスクで最先端の結果を達成した。
• 空間認識型時系列（SAT）層の導入により、EEG 電極間の空間パターンを効果的にモデル化でき、性能が顕著に向上した。
• マルチアンカー注意融合（MAAF）ブロックにより、異なる時間スケールでの複雑な時系列ダイナミクスを捉えることができ、回帰精度が向上した。
• 回帰器出力の平均値を分類ヘッドとして用いることで、F1 スコアに顕著な向上が見られ、統合アーキテクチャの有効性が裏付けられた。
• 評価結果から、CCC は RMSE や PCC よりも連続的感情回帰において信頼性が高く、相関性と絶対値の一致の両方を捉えていることが示された。
• モデルは正の価値ラベルに対して優れた性能を示したが、急激な振幅変化には弱く、今後の研究で正則化の改善が求められる。

Figure 2: Space-aware temporal convolutional layer. The SAT has two types of convolutional kernels: context kernels that extract the spectral patterns channel by channel and spatial fusion kernels that learn spatial patterns across all the channels. A context kernel of size (4, 3) is utilized for ex