[論文レビュー] ScalingNet: extracting features from raw EEG data for emotion recognition

Jingzhao Hu, Chen Wang+3 more|arXiv (Cornell University)|Feb 7, 2021

EEG and Brain-Computer Interfaces参考文献 25被引用数 4

ひとこと要約

本論文は、手作業で特徴を抽出する必要を排除するため、生エレクトロエンセファログラム（EEG）信号からデータ駆動型のスケーリング層を用いてスペクトログラムに類似した特徴を自動的に抽出する、エンド・ツー・エンドの深層学習アーキテクチャ「ScalingNet」を提案する。DEAPベンチマークにおいて、アーザルの分類で69.99%、バレンスで71.13%、ドミナントで70.78%の精度を達成し、手作業による特徴工学を一切行わずとも優れたロバストネスと一般化性能を示している。

ABSTRACT

Convolutional Neural Networks(CNNs) has achieved remarkable performance breakthrough in a variety of tasks. Recently, CNNs based methods that are fed with hand-extracted EEG features gradually produce a powerful performance on the EEG data based emotion recognition task. In this paper, we propose a novel convolutional layer allowing to adaptively extract effective data-driven spectrogram-like features from raw EEG signals, which we reference as scaling layer. Further, it leverages convolutional kernels scaled from one data-driven pattern to exposed a frequency-like dimension to address the shortcomings of prior methods requiring hand-extracted features or their approximations. The proposed neural network architecture based on the scaling layer, references as ScalingNet, has achieved the state-of-the-art result across the established DEAP benchmark dataset.

研究の動機と目的

• 手作業で抽出されたEEG特徴の限界に対処する。これは強い仮定に依存しており、タスク固有である。
• 生EEG信号からロバストでデータ駆動型の表現を自動的に学習するエンド・ツー・エンドの深層学習フレームワークを構築する。
• EEGを用いた感情認識において、データのアライメントや特徴工学の必要性を排除する。
• 周波数に類似した表現を抽出できるように、動的にスケーリングされたカーネルを生成する新しい畳み込み層を設計する。

提案手法

• 単一のデータ駆動型パターンからスケーリングすることで、複数の畳み込みカーネルを生成するスケーリング層を導入する。
• これらのスケーリングされたカーネルを生EEG信号に適用することで、時間的および周波数に類似した情報を捉えるスペクトログラムに類似した特徴マップを生成する。
• アーキテクチャは完全に畳み込み型であり、既存の深層学習モデルと互換性があり、エンド・ツー・エンドの学習が可能である。
• アライメントやセグメンテーションを必要とせず、可変長のEEG信号を処理できるように設計されている。
• スケーリング層は、周波数分解能を模倣するために、複数の段階で適応的にスケーリングされる学習可能なベースカーネルを用いる。
• 標準的なバックプロパゲーションと最適化手法を用いて、生EEGデータ上でエンド・ツー・エンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の畳み込み層は、手作業による特徴を一切用いずに、生EEG信号からロバストでスペクトログラムに類似した特徴を抽出できるか？
• RQ2 EEGを用いた感情認識において、スケーリング層は標準的な畳み込み層と比較してどのように性能を発揮するか？
• RQ3 表現力と精度の観点から、スケーリング層の最適なモデル容量（ベースカーネル長）は何か？
• RQ4 スケーリング層が生成する特徴マップの解釈可能性は、周波数に類似したパターンとしてどの程度高いか？
• RQ5 提案されたエンド・ツー・エンドアーキテクチャは、標準的なEEG感情認識ベンチマークにおいて、既存の最先端手法を上回る性能を発揮するか？

主な発見

• ScalingNetはDEAPベンチマークで最先端の性能を達成し、アーザル分類で69.99%、バレンスで71.13%、ドミナントで70.78%の精度を示した。
• スケーリング層は標準的な畳み込み層を上回り、アーザル分類の精度で4.25%の絶対的向上を示した（69.99% 対 65.74%）。
• 最適なモデル容量はベースカーネル長33と特定され、表現力と認識精度を最大化した。
• 特徴マップの可視化から、明確な低周波数および高周波数に類似したエネルギー分布が観察され、層が意味のあるスペクトル表現を学習していることが示された。
• アブレーションスタディにより、スケーリング層が特徴抽出と一般化性能を顕著に向上させ、性能に不可欠な役割を果たしていることが確認された。