[論文レビュー] Identifying Stable Patterns over Time for Emotion Recognition from EEG

Wei‐Long Zheng, Jiayi Zhu+1 more|arXiv (Cornell University)|Jan 10, 2016

EEG and Brain-Computer Interfaces参考文献 46被引用数 55

ひとこと要約

本研究では、機械学習を用いて感情認識のための時間的安定性を持つEEGパターンを同定し、肯定的、中立的、否定的 emotions に対して一貫した神経的サインを示している。新しい公開EEGデータセット（SEED）とDEAPデータセットを用い、β/γ帯域（側頭側面）、α帯域（parietal/occipital）、およびδ/γ帯域（前頭前野）における識別的パターンが、セッション内およびセッション間で安定しており、GELMを用いてSEEDで91.07%の精度、クロスセッションで79.28%の精度を達成した。

ABSTRACT

In this paper, we investigate stable patterns of electroencephalogram (EEG) over time for emotion recognition using a machine learning approach. Up to now, various findings of activated patterns associated with different emotions have been reported. However, their stability over time has not been fully investigated yet. In this paper, we focus on identifying EEG stability in emotion recognition. To validate the efficiency of the machine learning algorithms used in this study, we systematically evaluate the performance of various popular feature extraction, feature selection, feature smoothing and pattern classification methods with the DEAP dataset and a newly developed dataset for this study. The experimental results indicate that stable patterns exhibit consistency across sessions; the lateral temporal areas activate more for positive emotion than negative one in beta and gamma bands; the neural patterns of neutral emotion have higher alpha responses at parietal and occipital sites; and for negative emotion, the neural patterns have significant higher delta responses at parietal and occipital sites and higher gamma responses at prefrontal sites. The performance of our emotion recognition system shows that the neural patterns are relatively stable within and between sessions.

研究の動機と目的

• 異なる感情状態に関連するEEGパターンの時間的安定性を、繰り返しのセッションにわたって調査すること。
• 時間的安定性を評価するための、新しい公開可能なEEGデータセット（SEED）を構築すること。
• 感情認識のための特徴抽出、選択、平滑化、分類手法を体系的に評価すること。
• 被験者独立およびクロスセッションの感情認識設定における機械学習モデルの性能と頑健性を評価すること。
• 肯定的、中立的、否定的 emotions に関連する一貫した神経的サイン（特に周波数帯域および脳領域）を同定すること。

提案手法

• 45名の被験者から、音楽刺激を用いた感情誘発を焦点としてEEGデータセット（SEED）を収集し、安定性分析のための公開を実施した。
• EEG信号から感情関連神経パターンを抽出するために、時間周波数解析（微分エントロピー特徴）を5つの周波数帯域に適用した。
• 識別力とモデル安定性を向上させるために、主な分類器としてグラフ正則化極端学習機械（GELM）を採用した。
• モデルの汎化能力と時間的整合性を評価するために、5分割交差検証を用いてクロスセッションおよび被験者独立評価を実施した。
• ノイズ低減とセッションおよび被験者間でのモデルの頑健性向上を目的として、特徴選択および平滑化技術を用いた。
• DEAPおよびSEEDデータセットの両方で、特徴抽出、選択、平滑化、分類手法の複数の組み合わせを比較した。

実験結果

リサーチクエスチョン

• RQ1 同じ被験者において、特定の感情に関連するEEGパターンは繰り返しのセッションにわたって安定しているか？
• RQ2 肯定的、中立的、否定的 emotions に対して、一貫した神経的活動パターンを示す脳領域および周波数帯域はどこか？
• RQ3 被験者依存と被験者独立の設定における感情認識モデルの性能はどのように異なるか？
• RQ4 複数のセッションまたは被験者からのデータで学習した1つのモデルは、新しい未観測のセッションまたは被験者に効果的に一般化できるか？
• RQ5 時間的安定性のある感情認識に最も効果的なEEG特徴および機械学習手法は何か？

主な発見

• 肯定的 emotions では、βおよびγ帯域において側頭側面領域で、否定的 emotions よりも高い活性化が観察された。
• 中立的 emotions は、parietalおよびoccipital部位におけるαパワーの増加と関連し、明確な神経的サインを示した。
• 否定的 emotions では、parietalおよびoccipital領域でδパワーが顕著に上昇し、前頭前野領域でγ活動が上昇した。
• 提案されたGELMベースのモデルは、5分割交差検証を用いてSEEDデータセットで平均91.07%の分類精度を達成し、高い信頼性を示した。
• クロスセッションでの感情認識性能は79.28%の精度に達し、識別されたEEGパターンの時間的安定性が確認された。
• 1人を除いて全員を学習データから除外するleave-one-outスキームを用いた被験者独立分類では、60.93%の精度（標準偏差13.95%）を達成し、個体差があるものの中程度の汎化性能が示された。