[論文レビュー] A Spontaneous Driver Emotion Facial Expression (DEFE) Dataset for Intelligent Vehicles

Wenbo Li, Yaodong Cui+5 more|arXiv (Cornell University)|Apr 26, 2020

Emotion and Mood Recognition参考文献 30被引用数 8

ひとこと要約

本稿では、中国の文化的文脈に適合したSAMおよびDES尺度に基づき、特定の感情を誘発するための動画・音声刺激を用いて、60名の参加者による実際の運転状況下での自然な運転手の顔の表情を収集した、公開可能なDEFEデータセットを紹介する。研究では、覚醒度、価値、優位性、感情分類、強度の分類のためのベースライン性能を確立し、運転中と非運転中のアクションユニット（AU）の存在に顕著な差異が認められることを明らかにした。これは、知能車両の安全性を向上させるために、運転に特化した感情データセットの必要性を示している。

ABSTRACT

In this paper, we introduce a new dataset, the driver emotion facial expression (DEFE) dataset, for driver spontaneous emotions analysis. The dataset includes facial expression recordings from 60 participants during driving. After watching a selected video-audio clip to elicit a specific emotion, each participant completed the driving tasks in the same driving scenario and rated their emotional responses during the driving processes from the aspects of dimensional emotion and discrete emotion. We also conducted classification experiments to recognize the scales of arousal, valence, dominance, as well as the emotion category and intensity to establish baseline results for the proposed dataset. Besides, this paper compared and discussed the differences in facial expressions between driving and non-driving scenarios. The results show that there were significant differences in AUs (Action Units) presence of facial expressions between driving and non-driving scenarios, indicating that human emotional expressions in driving scenarios were different from other life scenarios. Therefore, publishing a human emotion dataset specifically for the driver is necessary for traffic safety improvement. The proposed dataset will be publicly available so that researchers worldwide can use it to develop and examine their driver emotion analysis methods. To the best of our knowledge, this is currently the only public driver facial expression dataset.

研究の動機と目的

• 実際の運転状況下における自然な運転手の顔の表情に焦点を当てた、公開可能なデータセットの不足に対処すること。
• 実際の運転中に、次元的（覚醒度、価値、優位性）および離散的（例：怒り、喜び）な感情次元を捉えることのできるデータセットの開発および検証を行うこと。
• アクションユニット（AUs）を用いて、運転中と非運転中の顔の表情パターンを比較し、状況依存の感情表現の差異を特定すること。
• 感情認識タスクにおけるベースラインパフォーマンス指標（正答率、F1スコア）をDEFEデータセット上で確立し、今後のアルゴリズム開発を支援すること。
• 運転タスクが特定の感情表現を抑制することを示し、運転手の感情分析に特化したデータセットの必要性を示すこと。

提案手法

• DEFEデータセットは、中国の文化的文脈に適合したSAMおよびDES尺度に基づき、特定の感情を誘発する目的で選択された3本の動画・音声クリップを視聴した60名の参加者から収集された。
• 参加者は固定された運転シナリオで標準化された運転タスクを実施しながら、顔の表情が動画で記録され、次元的および離散的 emotion モデルを用いて自己報告された感情状態が収集された。
• 顔のアクションユニット（AUs）はFACS（顔のアクションコーディングシステム）を用いて分析され、JAFFEデータセットをベンチマークとして用いて、運転中と非運転中のAUの存在を比較した。
• 分類実験により、覚醒度、価値、優位性、感情分類、強度を予測し、正答率およびF1スコアを用いてパフォーマンスを評価した。
• ロジスティック回帰を用いて、運転中および非運転中の特定の感情（例：怒り、喜び）に関連する有意なAUsを同定した。
• DEFE（運転中）およびJAFFE（非運転中）データセットにおけるAU頻度の統計的比較により、状況依存の表現差異を評価した。

実験結果

リサーチクエスチョン

• RQ1 運転中と非運転中の顔の表情パターン、特にアクションユニット（AU）の存在にどのような差異が認められるか？
• RQ2 DEFEデータセットを用いて、次元的（覚醒度、価値、優位性）および離散的（感情分類および強度）な感情を分類する際に達成可能なベースラインパフォーマンスはどの程度か？
• RQ3 運転タスクが怒りや喜びなどの特定の感情の表現をどの程度抑制または変化させるか？
• RQ4 DEFEデータセットにおける感情認識の結果は、CK+ や DEAP といった既存のデータセットの結果とどのように比較できるか？
• RQ5 日本文化における感情の抑圧といった文化的・文脈的要因が、運転中のAU表現に影響を与えるか？

主な発見

• DEFEデータセットは、実際の運転状況下での自然な運転手の顔の表情に特化した、公開可能な最初のデータセットであり、標準化された条件下で収集された。
• 覚醒度、価値、優位性、感情分類、強度の分類におけるベースラインパフォーマンスは、ランダム分類を著しく上回り、正答率およびF1スコアがモデルの学習に有効であることを示した。
• 運転中と非運転中のAUの存在に顕著な差異が認められた：AU4、AU5、AU6、AU12は非運転中により顕著に観察されたが、AU7およびAU23は運転中により頻度が高かった。
• 怒りの感情に対しては、運転中では唯一AU4（眉を下げる）が有意な予測力を示したが、非運転中ではAU4、AU5、AU23が有意であった。これは、運転中に感情表現が抑制されていることを示唆している。
• 喜びの感情に対しては、運転中では有意なAU-感情相関が認められなかったが、非運転中ではAU12（口角を上げる）が有意であった。これは、運転中に肯定的な表現が抑制されていることをさらに裏付けている。
• 結果から、運転中の感情表現はタスクの要求と文化的規範によって制限されていることが示され、感情認識システムのパフォーマンス劣化を避けるために、運転に特化したデータセットの開発が不可欠であることが明らかになった。