[論文レビュー] Emotion Recognition Through Observer's Physiological Signals

Yang Liu, Tom Gedeon+3 more|arXiv (Cornell University)|Feb 19, 2020

EEG and Brain-Computer Interfaces参考文献 11被引用数 4

ひとこと要約

本稿では、AFEWの感情誘発映像クリップを24名の被験者が視聴した際の生理的信号収集データセット「PAFEW」を紹介する。感情認識に特化した皮膚電気反応（EDA）を対象として、3層のニューラルネットワークベースラインでは単一被験者データで42.08%の正答率を達成。2段階ネットワークを用いることで、感情の評価値（valence）情報を組み込むことで正答率が4.9%向上し、本データセットにおいては、覚醒度（arousal）よりも評価値が感情分類のためのより効果的な補助信号であることが示された。

ABSTRACT

Emotion recognition based on physiological signals is a hot topic and has a wide range of applications, like safe driving, health care and creating a secure society. This paper introduces a physiological dataset PAFEW, which is obtained using movie clips from the Acted Facial Expressions in the Wild (AFEW) dataset as stimuli. To establish a baseline, we use the electrodermal activity (EDA) signals in this dataset and extract 6 features from each signal series corresponding to each movie clip to recognize 7 emotions, i.e., Anger, Disgust, Fear, Happy, Surprise, Sad and Neutral. Overall, 24 observers participated in our collection of the training set, including 19 observers who participated in only one session watching 80 videos from 7 classes and 5 observers who participated multiple times and watched all the videos. All videos were presented in an order balanced fashion. Leave-one-observer-out was employed in this classification task. We report the classification accuracy of our baseline, a three-layer network, on this initial training set while training with signals from all participants, only single participants and only multiple participants. We also investigate the recognition accuracy of grouping the dataset by arousal or valence, which achieves 68.66% and 72.72% separately. Finally, we provide a two-step network. The first step is to classify the features into high/low arousal or positive/negative valence by a network. Then the arousal/valence middle output of the first step is concatenated with feature sets as input of the second step for emotion recognition. We found that adding arousal or valence information can help to improve the classification accuracy. In addition, the information of positive/negative valence boosts the classification accuracy to a higher degree on this dataset.

研究の動機と目的

• 実世界の刺激を用いた感情認識のための大規模な生理的データセットの開発。
• 複数名の被験者からのEDA信号を用いた感情分類のベースラインの確立。
• 覚醒度または評価値の情報が、生理的ベースの感情認識における分類精度を向上させるかの検証。
• 覚醒度／評価値を中間予測として組み込む2段階ニューラルネットワークアーキテクチャの有効性の評価。

提案手法

• PAFEWデータセットは、24名の被験者がAFEWデータセットの80本の映像クリップを視聴しながら、E4ウェアラブル端末とEye Tribeの眼動追跡装置を用いて収集された。
• 各映像クリップに対応する各EDA信号系列から6つの特徴量が抽出され、生理的反応を表現した。
• 7つの感情（怒り、嫌悪、恐怖、喜び、驚き、悲しみ、ニュートラル）を分類するためのベースラインモデルとして、3層の順方向型ニューラルネットワークが用いられた。
• 被験者を1人ずつ除外する交差検証法を採用し、被験者間での評価の堅牢性を確保した。
• 2段階ネットワークを設計：第1段階で覚醒度（高／低）または評価値（肯定的／否定的）を分類し、第2段階で中間出力を元の特徴量と連結して最終的な感情分類を実行。
• 損失関数は、覚醒度／評価値分類と感情分類の両タスクを統合し、共有ハイパーパrameterを用いたエンドツーエンド学習を可能にした。

実験結果

リサーチクエスチョン

• RQ1 映像クリップによって誘発された状況下で、生理的信号（特にEDA）を用いて7つの基本的感情を信頼性高く分類できるか？
• RQ2 覚醒度または評価値を中間分類タスクとして組み込むことで、EDAからの感情認識におけるニューラルネットワークの性能が向上するか？
• RQ3 本データセットにおいて、評価値は覚醒度よりもより情報量の多い補助信号であるか？
• RQ4 単一被験者と複数被験者からのデータで、モデルの性能にどのような差が生じるか？

主な発見

• ベースラインの3層ネットワークは、PAFEWデータセットの単一被験者サブセットで42.08%の分類正答率を達成した。
• 高／低の覚醒度に分類するタスクでは68.66%の正答率を示し、ランダム推測（52.03%）を著しく上回った。
• 肯定的／否定的の評価値に分類するタスクでは72.72%の正答率を達成し、ランダム推測（50.62%）よりも22.10%高い結果となった。
• 2段階ネットワークを用いることで、評価値情報を補助タスクとして組み込むことで、ベースラインに比べて正答率が4.9%向上した。
• 評価値情報を追加した場合の向上率が、覚醒度を追加した場合よりも高かったため、本データセットにおいては評価値がより効果的なインダクティブバイアスであると示された。
• 単一被験者からのデータでは正答率が42.08%、複数被験者からのデータでは33.07%であったため、繰り返しセッションに起因するノイズの増加が顕著に見られた。