[論文レビュー] Real-time EEG-based Emotion Recognition using Discrete Wavelet Transforms on Full and Reduced Channel Signals

Josef Bajada, Francesco Borg Bonello|arXiv (Cornell University)|Oct 11, 2021

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、32チャネルおよび5チャネルのEEGデータの両方で離散ウェーブレット変換（DWT）特徴量を用い、ベースライン除去前処理を施して精度を向上させた、リアルタイムEEGベースの感情認識システムを提案する。SVM分類器は、被験者依存設定下でValenceで95.32%、Arousalで95.68%の精度を達成し、先行するリアルタイムベンチマークを上回った。5チャネルデータでも92%の精度を維持しており、低コストのコンsumer用EEGデバイスへの実用可能性を示した。

ABSTRACT

Real-time EEG-based Emotion Recognition (EEG-ER) with consumer-grade EEG devices involves classification of emotions using a reduced number of channels. These devices typically provide only four or five channels, unlike the high number of channels (32 or more) typically used in most current state-of-the-art research. In this work we propose to use Discrete Wavelet Transforms (DWT) to extract time-frequency domain features, and we use time-windows of a few seconds to perform EEG-ER classification. This technique can be used in real-time, as opposed to post-hoc on the full session data. We also apply baseline removal preprocessing, developed in prior research, to our proposed DWT Entropy and Energy features, which improves classification accuracy significantly. We consider two different classifier architectures, a 3D Convolutional Neural Network (3D CNN) and a Support Vector Machine (SVM). We evaluate both models on subject-independent and subject dependent setups to classify the Valence and Arousal dimensions of an individual's emotional state. We test them on both the full 32-channel data provided by the DEAP dataset, and also a reduced 5-channel extract of the same dataset. The SVM model performs best on all the presented scenarios, achieving an accuracy of 95.32% on Valence and 95.68% on Arousal for the full 32-channel subject-dependent case, beating prior real-time EEG-ER subject-dependent benchmarks. On the subject-independent case an accuracy of 80.70% on Valence and 81.41% on Arousal was also obtained. Reducing the input data to 5 channels only degrades the accuracy by an average of 3.54% across all scenarios, making this model appropriate for use with more accessible low-end EEG devices.

研究の動機と目的

• 低コストのコンsumer用EEGデバイスに適した、チャネル数が限られた（例：5チャネル）リアルタイムEEGベースの感情認識システムの開発。
• 32チャネルおよび5チャネルのEEGデータの両方において、離散ウェーブレット変換（DWT）特徴量とベースライン除去前処理を組み合わせることで分類精度の向上を図ること。
• ValenceおよびArousal分類のため、被験者依存および被験者独立の設定において、SVMと3D CNNの2つの分類器アーキテクチャを評価・比較すること。
• 32チャネルから5チャネルに減少させた場合でも高い精度を維持できることを示し、アクセス可能なEEGハードウェアへの実用的導入を可能にすること。

提案手法

• 離散ウェーブレット変換（DWT）を用いて、EEG信号から時間周波数ドメイン特徴量を抽出する。ウェーブレットにダウーベシュ波形を、感情認識に最適化された分解レベルを用いる。
• DWTから得られる特徴量（エントロピーおよびエネルギー）に対して、ベースライン除去前処理を施し、各被験者の活動状態を自らの休息状態に対して正規化することで、特徴量の識別能を向上させる。
• 3D畳み込みニューラルネットワーク（3D CNN）は、DWTエントロピーおよびDWTエントロピー＋エネルギーの組み合わせ特徴量を学習対象とし、比較のためRBFカーネルを用いたSVMが使用された。
• リアルタイム分類を可能にするために、EEGデータに2〜4秒の時間ウィンドウ処理を適用し、全セッションの後処理を回避する。
• チェーン型SVMモデルを提案。感情次元の一つ（例：Arousal）の出力を、もう一つの次元（例：Valence）の予測に使用することで、条件付き依存関係を活用する。
• モデルはDEAPデータセットを用い、32チャネルおよび5チャネルのサブセットで評価され、被験者依存および被験者独立の設定で性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 離散ウェーブレット変換（DWT）特徴量に加え、ベースライン除去前処理を組み合わせることで、低チャネルEEGデータにおけるリアルタイムEEGベースの感情認識精度が向上するか？
• RQ2 32チャネルから5チャネルに減少させた場合、モデル性能はどの程度低下し、依然として高い精度を達成できるか？
• RQ3 SVM分類器は、DWT特徴量を用いた被験者依存および被験者独立の両方の感情認識タスクにおいて、3D CNNを上回る性能を示すか？
• RQ4 ArousalとValenceの次元間で条件付き予測を実行するチェーン型SVMモデルは、全体の分類精度を向上させるか？
• RQ5 提案手法は、5チャネルEEGデータにおいて、最先端の精度を達成するほど十分に頑健であるか。これにより、コンsumer用EEGデバイスへの導入が可能になるか？

主な発見

• 被験者依存の32チャネル設定下で、SVM分類器はValenceで95.32%、Arousalで95.68%の精度を達成し、それぞれ92.7%および93.1%の先行研究の最先端水準を上回った。
• 被験者独立の設定では、SVMはValenceで80.70%、Arousalで81.41%の精度を示し、個人間の一般化性能が優れていることを示した。
• 32チャネルから5チャネルに減少させた場合、平均精度はわずか3.54%低下したが、SVMは被験者依存の5チャネル設定でもValenceで92%、Arousalで92.1%の精度を維持した。
• ベースライン除去前処理は、すべてのシナリオにおいて分類精度を顕著に向上させ、EEG信号における個体差を補正する上で重要であることが示された。
• ArousalとValenceの次元間で条件付き予測を実行するチェーン型SVMモデルは、単一のSVMモデルよりもわずかに高い精度を達成し、次元間の依存関係をモデル化することの価値を示唆した。
• 3D CNNモデルはSVMに比べて性能が劣っており、この特定のDWTベース特徴表現に対しては、より単純なカーネルベースのモデルがディープラーニングよりも効果的である可能性を示した。