[論文レビュー] Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening

Panayu Keelawat, Nattapong Thammasan+2 more|arXiv (Cornell University)|Oct 22, 2019

EEG and Brain-Computer Interfaces参考文献 23被引用数 10

ひとこと要約

本研究では、音楽聴取中のEEG信号を用いた時空間的感情認識のための深層畳み込みニューラルネットワーク（CNN）を提案する。時間窓サイズと電極配置の違いを分析することで、被験者独立の交差検証においてSVMを上回る優れた性能を達成し、CNNが感情反応に関連する動的神経パターンを捉える有効性を示している。

ABSTRACT

Emotion recognition based on EEG has become an active research area. As one of the machine learning models, CNN has been utilized to solve diverse problems including issues in this domain. In this work, a study of CNN and its spatiotemporal feature extraction has been conducted in order to explore capabilities of the model in varied window sizes and electrode orders. Our investigation was conducted in subject-independent fashion. Results have shown that temporal information in distinct window sizes significantly affects recognition performance in both 10-fold and leave-one-subject-out cross validation. Spatial information from varying electrode order has modicum effect on classification. SVM classifier depending on spatiotemporal knowledge on the same dataset was previously employed and compared to these empirical results. Even though CNN and SVM have a homologous trend in window size effect, CNN outperformed SVM using leave-one-subject-out cross validation. This could be caused by different extracted features in the elicitation process.

研究の動機と目的

• 音楽聴取中のEEGを用いた感情認識性能に及ぼす時間窓サイズの影響を調査すること。
• EEGベースの感情分類における空間特徴抽出に及ぼす電極順序の影響を評価すること。
• 同じEEGデータセット上で、深層CNNと従来のSVM分類器の性能を比較すること。
• 被験者独立の交差検証設定におけるモデルの汎化能力を評価すること。

提案手法

• 音楽聴取中に収集されたEEG信号から時空間的特徴を抽出するために3次元CNNアーキテクチャを採用した。
• 分類精度に与える影響を分析するために、時間窓サイズを変化させた。
• 電極順序を体系的に変更することで、空間特徴の感度とモンタージュの変化に対するロバストネスを評価した。
• モデルの汎化能力を評価するために10分割交差検証と1人を除いて交差検証を用いた。
• Raw EEGデータ上でエンドツーエンドにCNNを学習させ、階層的な時間的および空間的表現を学習した。
• 同じデータセットと感情ラベルを用いた以前のSVMベースの手法と結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 時間窓サイズの選択が、EEGベースのモデルにおける感情認識精度にどのように影響するか？
• RQ2 電極順序が、EEGベースの感情分類における空間表現品質にどの程度影響を及ぼすか？
• RQ3 深層CNNと従来のSVMとの間で、EEGベースの感情認識における性能と汎化能力に差は生じるか？
• RQ4 CNNモデルは、被験者独立の評価プロトコルにおいても優れた性能を維持するか？

主な発見

• 時間窓サイズは認識性能に顕著な影響を及ぼし、最適な窓サイズでは10分割交差検証および1人を除いて交差検証の両方で高い正答率が得られた。
• 電極順序の変更によって得られる空間情報は、分類精度にほとんど影響を及ぼさなかった。
• 1人を除いて交差検証において、CNNモデルはSVM分類器を上回った。これは、未観測被験者への汎化能力が優れていることを示している。
• CNNとSVMの両者で窓サイズの影響に類似の傾向が見られたが、CNNは絶対的な正答率が高く、より優れた特徴学習能力を示している。
• 本研究では、深層CNNが音楽聴取中の感情反応に関連する動的時空間的パターンを効果的に捉えられることを確認した。
• 結果は、特に被験者独立の状況において、エンドツーエンドの深層学習をEEGベースの感情認識に活用することが有効であることを支持している。