[論文レビュー] A multimodal stress detection dataset with facial expressions and physiological signals

Majid Hosseini, Fahad Sohrab+6 more|arXiv (Cornell University)|Aug 29, 2022

Emotion and Mood Recognition被引用数 7

ひとこと要約

本論文は、20名の参加者を対象に26時間にわたり、制御されたストレス状態下で顔の表情と生理的信号（心拍数、電気皮膚反応、皮膚温など）を収集した新規マルチモーダルデータセットであるEmpathicSchoolを紹介する。このデータセットは、顔の感情の兆候とバイオメトリック信号の相関を用いてマルチモーダルなストレス検出を可能にし、統計的検証により心拍数および特定の感情（例：怒り、驚き、悲しみ）がストレスレベルによって有意に異なることが示された（p < 0.05）。

ABSTRACT

Affective computing has garnered the attention and interest of researchers in recent years, as there is a need for AI systems to better understand and react to human emotions. However, analyzing human emotions, such as mood or stress, is quite complex. While various stress studies use facial expressions and wearables, most existing datasets rely on processing data from a single modality. This paper presents EmpathicSchool, a novel dataset that captures facial expressions and the associated physiological signals, such as heart rate, electrodermal activity, and skin temperature, under different stress levels. The data was collected from 30 participants during different sessions for about ninety minutes each (for a total of 40 hours). The data includes seven different signal types, including both computer vision and physiological features that can be used to detect stress. In addition, various experiments were conducted to validate the signal quality.

研究の動機と目的

• ストレス検出のための顔の表情と生理的信号を統合的に分析するマルチモーダルデータセットの不足に対処すること。
• さまざまなストレスレベル下で、感情の表現とバイオメトリック反応を高精細かつリアルタイムに捉えたデータセットの構築。
• 信号の品質を検証し、特定の感情とストレス関連の生理的変化との間に統計的相関が存在することを確立すること。
• 教育、医療、職場のウェルネス分野における共感的システムの開発を支援するため、ラベル付きのマルチモーダルデータを提供すること。
• 公開可能なデータセットとして、動画とセンサデータを併せ持つことで、感情計算分野における研究を促進すること。

提案手法

• 26時間にわたり複数回のセッションを経て、20名の参加者から同期された動画記録とウェアラブルセンサを用いてデータ収集。
• 顔の特徴（InceptionV3およびdlib 68点ランドマークを用いて）と生理的信号（ECG、EDA、皮膚温など）を含む9種類の異なる信号タイプを捉えた。
• 低、中、高の3段階のストレスレベルを設定した制御された実験環境を採用し、感情状態をラベル化した。
• ストレスレベルごとの生理的信号の差の有意性を検証するために一元配置分散分析（one-way ANOVA）を適用。
• 顔の特徴抽出の正確性を確保するため、事前学習済みモデル（FER-2013で学習済みのInceptionV3）とdlibを活用。
• 顔の表情分析および生理的信号の可視化のためのオープンソースコードを提供し、再現性とさらなる分析を可能にした。

実験結果

リサーチクエスチョン

• RQ1 さまざまなストレス状態下で、顔の表情と生理的信号を信頼性高く同期・ラベル化できるマルチモーダルデータセットが構築可能か？
• RQ2 心拍数、EDA、皮膚温などの生理的信号のうち、どの信号が明確なストレスレベルの違いを示すか？
• RQ3 怒り、驚き、悲しみなどの特定の顔の感情が、ストレス関連バイオメトリクスの変化とどのように相関するか？
• RQ4 制御された環境下で急性のストレスにさらされた際、感情状態と生理的反応がどの程度同時に変化するか？
• RQ5 このデータセットは、オンライン教育やICUモニタリングなどの応用分野におけるリアルタイムでマルチモーダルなストレス検出システムの開発を可能にするか？

主な発見

• 心拍数はストレスレベル間で有意に差が認められた（F = 4.346, p = 0.037）、ストレス指標としての信頼性が裏付けられた。
• 怒り（p = 0.004）、驚き（p = 0.022）、悲しみ（p = 0.030）といった感情はストレスと有意に相関しており、強力なマルチモーダル信号関係が示された。
• 電気皮膚反応（EDA）、皮膚温、およびニュートラル／ハッピー／怖がり／嫌悪の状態ではストレスレベル間に有意差が認められなかった（p > 0.05）、このデータセットでは判別能が限定的であることが示唆された。
• 皮膚温はストレス発現の初期に急低下が観察されたが、その後上昇したため、ストレスと複雑な時間的関係にあることが示された。
• 信号の品質と一貫性が高く、参加者間での繰り返し測定と統計的分析により検証された。
• InceptionV3およびdlibを用いた顔の表情分析と生理的信号処理の組み合わせにより、ストレスモデリングに向けた強固でリアルタイムなマルチモーダル特徴抽出が可能になった。