[論文レビュー] Automatic Emotion Recognition (AER) System based on Two-Level Ensemble of Lightweight Deep CNN Models

Emad-ul-Haq Qazi, Muhammad Hussain+2 more|arXiv (Cornell University)|Apr 30, 2019

EEG and Brain-Computer Interfaces参考文献 43被引用数 11

ひとこと要約

本稿では、EEG信号からの自動感情認識（AER）のための、軽量1D-CNNモデルの二段階アンサンブルであるDeep-AERを提案する。少ないパラメータを有するピラミッド型1D-CNNを活用し、チャンネルおよびレベルごとの予測を多数決投票によって統合することで、DEAPデータセット上でHV対LV分類で98.43%、HA対LA分類で97.65%の精度を達成し、最先端手法を上回る性能を示した。

ABSTRACT

Emotions play a crucial role in human interaction, health care and security investigations and monitoring. Automatic emotion recognition (AER) using electroencephalogram (EEG) signals is an effective method for decoding the real emotions, which are independent of body gestures, but it is a challenging problem. Several automatic emotion recognition systems have been proposed, which are based on traditional hand-engineered approaches and their performances are very poor. Motivated by the outstanding performance of deep learning (DL) in many recognition tasks, we introduce an AER system (Deep-AER) based on EEG brain signals using DL. A DL model involves a large number of learnable parameters, and its training needs a large dataset of EEG signals, which is difficult to acquire for AER problem. To overcome this problem, we proposed a lightweight pyramidal one-dimensional convolutional neural network (LP-1D-CNN) model, which involves a small number of learnable parameters. Using LP-1D-CNN, we build a two level ensemble model. In the first level of the ensemble, each channel is scanned incrementally by LP-1D-CNN to generate predictions, which are fused using majority vote. The second level of the ensemble combines the predictions of all channels of an EEG signal using majority vote for detecting the emotion state. We validated the effectiveness and robustness of Deep-AER using DEAP, a benchmark dataset for emotion recognition research. The results indicate that FRONT plays dominant role in AER and over this region, Deep-AER achieved the accuracies of 98.43% and 97.65% for two AER problems, i.e., high valence vs low valence (HV vs LV) and high arousal vs low arousal (HA vs LA), respectively. The comparison reveals that Deep-AER outperforms the state-of-the-art systems with large margin. The Deep-AER system will be helpful in monitoring for health care and security investigations.

研究の動機と目的

• EEG信号を用いた伝統的なハンドクラフトされたAERシステムにおける低性能の課題に対処すること。
• 学習可能なパラメータが少ない軽量ディープラーニングモデルの設計により、EEGベースのAERにおけるデータ不足の問題を克服すること。
• チャンネル単位および信号全体の予測を統合する二段階アンサンブル戦略により、感情認識の精度を向上させること。
• ベンチマークとしてのDEAPデータセット上で、モデルの頑健性と有効性を検証すること。

提案手法

• データ依存性を低減するため、学習可能なパラメータが最小限の軽量ピラミッド型一次元畳み込みニューラルネットワーク（LP-1D-CNN）を提案した。
• 最初の段階のアンサンブルにおいて、各EEGチャンネルに独立してLP-1D-CNNを適用し、個々の予測を生成した。
• 最初の段階の予測を多数決投票によって統合し、チャンネルレベルの感情推定値を形成した。
• 2段階目のアンサンブルにおいて、すべてのチャンネルレベルの予測を多数決投票によって統合し、最終的な感情状態を決定した。
• DEAPデータセット上でモデルを訓練および評価し、ハイバレンス対ローバレンス（HV対LV）およびハイアーザル対ローアーザル（HA対LA）を分類タスクとして用いた。
• 感情処理において主導的役割を果たすとされる前頭前野領域のEEG信号を、感情関連特徴の主な出処とした。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データで、軽量ディープラーニングモデルがEEGベースの感情認識で高い精度を達成できるか？
• RQ2 EEGチャンネルおよびレベルごとの予測を統合する二段階アンサンブル戦略が、感情認識性能を向上させるか？
• RQ3 どのEEG領域がAERシステムにおける正確な感情認識に最も寄与しているか？
• RQ4 ベンチマークデータセット上で、提案されたDeep-AERシステムは最先端手法と比較して、精度および頑健性の面で優れているか？
• RQ5 複数のチャンネル固有の予測に対する多数決投票が、感情分類の信頼性を向上させるか？

主な発見

• Deep-AERシステムは、DEAPデータセット上でハイバレンス対ローバレンス感情の区別において98.43%の精度を達成した。
• システムはハイアーザル対ローアーザル状態の分類においても97.65%の精度を達成し、2番目の感情次元においても優れた性能を示した。
• 前頭EEG領域が感情認識において支配的役割を果たしていることが判明し、モデル設計におけるこの領域への注力が裏付けられた。
• 二段階アンサンブル戦略により、複数のEEGチャンネルにわたる予測の集約がなされ、分類の頑健性が顕著に向上した。
• Deep-AERは、既存の最先端AERシステムを大きく上回り、軽量かつアンサンブルベースのアプローチの有効性を確認した。
• LP-1D-CNNモデルのパラメータ数の少なさから、リアルタイムの健康モニタリングシステムなどリソース制約のある環境への実装に適していることが示された。