[論文レビュー] Entropy-Assisted Multi-Modal Emotion Recognition Framework Based on Physiological Signals

Kuan Tung, Po-Kang Liu+3 more|arXiv (Cornell University)|Sep 22, 2018

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本論文は、AMIGOSデータセットからの生理的信号（EEG、ECG、GSR）を用いたエントロピー補助マルチモーダル感情認識フレームワークを提案する。信号の複雑さを捉えるためにRCMSE、RCMPE、MMSE、MMPE特徴量を抽出し、分類にXGBoostを採用した結果、覚醒度分類で68%、価値度分類で84%の精度を達成し、従来手法を著しく上回った。

ABSTRACT

As the result of the growing importance of the Human Computer Interface system, understanding human's emotion states has become a consequential ability for the computer. This paper aims to improve the performance of emotion recognition by conducting the complexity analysis of physiological signals. Based on AMIGOS dataset, we extracted several entropy-domain features such as Refined Composite Multi-Scale Entropy (RCMSE), Refined Composite Multi-Scale Permutation Entropy (RCMPE) from ECG and GSR signals, and Multivariate Multi-Scale Entropy (MMSE), Multivariate Multi-Scale Permutation Entropy (MMPE) from EEG, respectively. The statistical results show that RCMSE in GSR has a dominating performance in arousal, while RCMPE in GSR would be the excellent feature in valence. Furthermore, we selected XGBoost model to predict emotion and get 68% accuracy in arousal and 84% in valence.

研究の動機と目的

• エントロピー特徴を用いた生理的信号の複雑さ分析により、感情認識のパフォーマンスを向上させること。
• 感情計算分野における従来の時間領域および周波数領域特徴の限界を克服するため、マルチスケールエントロピー指標を導入すること。
• 社会的マスキングにさらされにくい非侵襲的生理的信号を用いて、ユーザーに依存しない強固な感情認識フレームワークを構築すること。
• エントロピー領域特徴が、EEG、ECG、GSR信号における感情状態（覚醒度と価値度）を区別する有効性を検証すること。
• 強力な機械学習分類器とエントロピー特徴を統合することで、AMIGOSデータセット上で既存手法を上回ること。

提案手法

• ECGおよびGSR信号から精錬された複合的マルチスケールエントロピー（RCMSE）および精錬された複合的マルチスケール順列エントロピー（RCMPE）を抽出し、信号の複雑さを定量化した。
• 多チャンネルEEGデータに対して多変量マルチスケールエントロピー（MMSE）および多変量マルチスケール順列エントロピー（MMPE）を適用し、チャネル間の複雑さ分析を実施した。
• AMIGOSデータセットにおけるモデルの堅牢な評価を確保するため、1人を除いた交差検証スキームを採用した。
• 性能最適化のため、グリッドサーチを用いてハイパーパrameterチューニングを実施したXGBoostを分類モデルとして使用した。
• 統計的に有意なエントロピー特徴量（p < 0.05）を選択し、従来特徴量と組み合わせてモデル入力として統合した。
• 陽性および陰性の感情クラスの分類をバランスよく評価するため、マクロF1スコアを性能評価指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 RCMSEやRCMPEのようなエントロピー特徴量は、生理的信号における感情状態の変動を効果的に捉えることができるか？
• RQ2 EEG、ECG、GSRにおいて、覚醒度および価値度と最も強い統計的相関を示すエントロピー領域特徴量（RCMSE、RCMPE、MMSE、MMPE）は何か？
• RQ3 従来特徴量と組み合わせたエントロピー領域特徴量の統合は、ベースライン手法と比較して感情認識の精度を向上させるか？
• RQ4 XGBoost分類器は、単一モodalおよびマルチモーダルな生理的入力に対してエントロピー特徴量を学習させた場合、どの程度の性能を示すか？
• RQ5 XGBoostにおける特徴量重要度の観点から、どの具体的なエントロピー特徴量が分類性能の向上に最も寄与しているか？

主な発見

• GSRにおけるRCMSEは、覚醒度分類において最も顕著な性能を示し、感情的興奮レベルへの高い感受性を示した。
• GSRにおけるRCMPEは、価値度分類において優れた特徴量となり、肯定的・否定的感情状態の強力な識別力を持つことが示された。
• 提案されたエントロピー補助フレームワークは、XGBoostを用いて覚醒度認識で68%、価値度認識で84%の精度を達成した。
• EEG、ECG、GSRのマルチモーダル信号とエントロピー特徴量を統合した結果、従来手法と比較して価値度分類で+25.3%、EEG単体での価値度分類で+17.8%のF1スコア向上が達成された。
• 特徴量重要度分析から、EEGのMMPE（τ=18, m=2）およびECGのRCMPE（τ=1, m=3）が、統合性能の向上に主要因であることが判明した。
• 統計的に有意なエントロピー特徴量（覚醒度で41、価値度で101）の組み込みにより、従来特徴量のみのセットと比較して顕著なパフォーマンス向上が得られた。