[論文レビュー] Affective State Recognition through EEG Signals Feature Level Fusion and Ensemble Classifier

Md. Mahbubur Rahman, Akash Poddar+2 more|arXiv (Cornell University)|Feb 14, 2021

Emotion and Mood Recognition参考文献 11被引用数 5

ひとこと要約

本研究は、特徴レベルの統合とアンサンブル分類器を用いて、EEG信号を用いた感情状態認識フレームワークを提案する。感情映像刺激中に収集したEEGデータからの統計的および高度なスペクトル特徴を統合することで、4つの基本的感情状態（喜び、悲しみ、嫌悪、平穏）を分類する際、89.06%の正確性を達成した。ランダムフォレストはアンサンブル内の他の分類器よりも優れた性能を示した。

ABSTRACT

Human affects are complex paradox and an active research domain in affective computing. Affects are traditionally determined through a self-report based psychometric questionnaire or through facial expression recognition. However, few state-of-the-arts pieces of research have shown the possibilities of recognizing human affects from psychophysiological and neurological signals. In this article, electroencephalogram (EEG) signals are used to recognize human affects. The electroencephalogram (EEG) of 100 participants are collected where they are given to watch one-minute video stimuli to induce different affective states. The videos with emotional tags have a variety range of affects including happy, sad, disgust, and peaceful. The experimental stimuli are collected and analyzed intensively. The interrelationship between the EEG signal frequencies and the ratings given by the participants are taken into consideration for classifying affective states. Advanced feature extraction techniques are applied along with the statistical features to prepare a fused feature vector of affective state recognition. Factor analysis methods are also applied to select discriminative features. Finally, several popular supervised machine learning classifier is applied to recognize different affective states from the discriminative feature vector. Based on the experiment, the designed random forest classifier produces 89.06% accuracy in classifying four basic affective states.

研究の動機と目的

• 非侵襲的EEG信号を用いた頑健な感情状態認識システムの開発を目的とする。
• 自己報告や顔の表情による手法の限界を補うために神経生理学的信号を活用することを目的とする。
• 高度な特徴統合とアンサンブル学習技術を用いて分類正確性を向上させることを目的とする。
• 被験者の主観的感情評価と相関するEEG特徴を特定することを目的とする。

提案手法

• 参加者100名のEEG信号を、1分間の感情的タグ付け済み映像刺激視聴中に収集した。
• EEG信号から統計的およびスペクトル的特徴（例：デルタ、テータ、アルファ、ベータ、ガンマ帯域のパワー）を抽出した。
• 特徴レベルの統合により、複数の特徴タイプを1つの判別性の高い特徴ベクトルに統合した。
• 次元削減と最も情報量の多い特徴の選択のため、因子分析を適用した。
• 複数の教師あり機械学習分類器を評価し、最終的なアンサンブルモデルとしてランダムフォレストを選定した。
• 訓練されたアンサンブル分類器を用いて、統合された特徴ベクトルに基づき感情状態を分類した。

実験結果

リサーチクエスチョン

• RQ1 EEG信号は、喜び、悲しみ、嫌悪、平穏といった基本的感情状態を信頼性高く捉え、区別できるか？
• RQ2 統計的およびスペクトル的EEG特徴の特徴レベル統合は、感情状態分類の正確性を向上させるのにどの程度有効か？
• RQ3 EEGデータから複数の感情状態を認識する際に、どのアンサンブル分類器が最も優れた性能を示すか？
• RQ4 EEG周波数帯域間の相関関係と主観的感情評価との関係は、分類性能の向上にどの程度寄与するか？

主な発見

• 提案された特徴レベル統合手法は、個々の特徴セットに比べて分類性能を顕著に向上させた。
• ランダムフォレスト分類器は、4つの基本的感情状態を区別する際、最高の正確性89.06%を達成した。
• 因子分析により、判別情報の保持を維持したまま特徴の次元を効果的に削減できた。
• アルファ帯域およびベータ帯域のスペクトルパワーは、主観的感情評価と強い相関を示した。
• アンサンブルモデルは、多様な感情状態において頑健で一般化性能に優れた性能を示した。
• 本研究は、ヒューマンコンピュータインタラクションにおけるリアルタイムで非侵襲的な感情状態認識の実現可能性を確認した。