[論文レビュー] Emotion Analysis on EEG Signal Using Machine Learning and Neural Network

Samiha Ahmed, Eshaan Tanzim Sabur|arXiv (Cornell University)|Jul 9, 2023

EEG and Brain-Computer Interfaces被引用数 7

ひとこと要約

本研究では、DEAPデータセットを用いたEEGベースの感情認識に対して、ハイブリッドな機械学習およびディープラーニング手法を提案する。周波数帯域通過フィルタリングとFFTを用いた特徴抽出の後、SVM、KNN、およびLSTMベースのRNNモデルによる分類を実施した。LSTMベースのRNNモデルは1000エポック後、78.28%の最高検証精度を達成し、感情状態の時間的ダイナミクスを捉える能力に優れていることが示された。

ABSTRACT

Emotion has a significant influence on how one thinks and interacts with others. It serves as a link between how a person feels and the actions one takes, or it could be said that it influences one's life decisions on occasion. Since the patterns of emotions and their reflections vary from person to person, their inquiry must be based on approaches that are effective over a wide range of population regions. To extract features and enhance accuracy, emotion recognition using brain waves or EEG signals requires the implementation of efficient signal processing techniques. Various approaches to human-machine interaction technologies have been ongoing for a long time, and in recent years, researchers have had great success in automatically understanding emotion using brain signals. In our research, several emotional states were classified and tested on EEG signals collected from a well-known publicly available dataset, the DEAP Dataset, using SVM (Support Vector Machine), KNN (K-Nearest Neighbor), and an advanced neural network model, RNN (Recurrent Neural Network), trained with LSTM (Long Short Term Memory). The main purpose of this study is to improve ways to improve emotion recognition performance using brain signals. Emotions, on the other hand, can change with time. As a result, the changes in emotion over time are also examined in our research.

研究の動機と目的

• 高級な信号処理および機械学習技術を活用して、EEG信号を用いた感情認識の精度を向上させること。
• 従来の機械学習モデル（SVM、KNN）とディープラーニングモデル（LSTM-RNN）のEEGベースの分類性能を評価すること。
• 感情状態の逐次的変化をモデル化することで、EEG信号内の時間的ダイナミクスが感情認識に与える影響を調査すること。
• 周波数帯域分解とFFTを用いた特徴抽出を改善することで、感情状態の表現を向上させること。
• 一般化可能性を検証するため、公開済みのデータセット（DEAP）を用いて提案フレームワークを検証すること。

提案手法

• DEAPデータセットのEEG信号は、関連する周波数帯域（例：アルファ、ベータ、ガンマ）を抽出するために帯域通過フィルタリングにより前処理された。
• 時間領域の信号を周波数領域表現に変換するため、高速フーリエ変換（FFT）を用いた特徴抽出が実施された。
• 感情の価値と覚醒度の分類に、従来の機械学習分類器としてサポートベクターマシン（SVM）とK-近傍法（KNN）が適用された。
• 再帰ニューラルネットワーク（RNN）に基づくディープラーニングモデルが、EEG信号内の時間的依存性をモデル化するために訓練された。
• LSTMモデルは、隠れ層にReLU活性化関数、出力層にシグモイド活性化関数を用い、感情状態の二値分類を実行した。
• 学習にはバッチ正則化、ドロップアウト（率：30%、50%、30%、30%、30%、20%）、RMSprop最適化関数（初期学習率：0.001）、および平均二乗誤差（MSE）を損失関数として使用した。

Figure 1: Time Domain of the EEG Signals

実験結果

リサーチクエスチョン

• RQ1 機械学習およびディープラーニングモデルは、EEG信号から感情状態（価値と覚醒度）を効果的に分類できるか？
• RQ2 LSTMによる時間的モデリングを組み込むことで、SVM や KNN といった静的分類器と比較して、感情認識の精度がどのように向上するか？
• RQ3 FFTを用いた周波数領域特徴抽出は、感情認識システムの性能にどのような影響を与えるか？
• RQ4 帯域通過フィルタリングやFFTといった異なる信号処理技術は、EEGデータにおける感情状態の表現にどのように影響を与えるか？
• RQ5 手動による特徴工学をほとんど行わずに、生のEEGデータを用いたディープラーニングモデルは、被験者間でどの程度一般化できるか？

主な発見

• LSTMベースのRNNモデルは、1000エポックの学習後、78.28%の最高検証精度を達成し、SVM や KNN を上回った。
• 1000エポックにわたり、学習精度が9.61%から69.21%へ、検証精度が53.42%から78.28%へ上昇し、安定した学習進行が確認された。
• 最初の150エポックで検証損失が0.06851から0.04787に減少し、効果的なモデル収束が示された。
• バッチ正則化とドロップアウトの使用により、過学習が顕著に低減され、学習フェーズ全体での一般化性能が向上した。
• 平均二乗誤差（MSE）損失関数は、大きな予測誤差に対して効果的にペナルティを課し、安定した最適化に貢献した。
• モデルの性能は時間の経過とともに徐々に向上し、200エポック以降では最も遅い増加が観察されたため、後期の学習段階では収益が減少する傾向が示された。

Figure 2: Power Spectral Density Across Channels