[论文解读] A Spontaneous Driver Emotion Facial Expression (DEFE) Dataset for Intelligent Vehicles

Wenbo Li, Yaodong Cui+5 more|arXiv (Cornell University)|Apr 26, 2020

Emotion and Mood Recognition参考文献 30被引用 8

一句话总结

本文提出了DEFE數據集，這是一個公開可用的數據集，收錄了60名參與者在真實駕駛情境中產生的自發性駕駛員面部表情，透過音視頻刺激引發特定情緒。研究建立了對喚醒度、評價度、主導度、情緒類別及強度的基線分類性能，並揭示了駕駛與非駕駛情境下動作單元（AU）出現的顯著差異，強調了開發專為駕駛情境設計的情緒數據集對提升智能汽車安全性的必要性。

ABSTRACT

In this paper, we introduce a new dataset, the driver emotion facial expression (DEFE) dataset, for driver spontaneous emotions analysis. The dataset includes facial expression recordings from 60 participants during driving. After watching a selected video-audio clip to elicit a specific emotion, each participant completed the driving tasks in the same driving scenario and rated their emotional responses during the driving processes from the aspects of dimensional emotion and discrete emotion. We also conducted classification experiments to recognize the scales of arousal, valence, dominance, as well as the emotion category and intensity to establish baseline results for the proposed dataset. Besides, this paper compared and discussed the differences in facial expressions between driving and non-driving scenarios. The results show that there were significant differences in AUs (Action Units) presence of facial expressions between driving and non-driving scenarios, indicating that human emotional expressions in driving scenarios were different from other life scenarios. Therefore, publishing a human emotion dataset specifically for the driver is necessary for traffic safety improvement. The proposed dataset will be publicly available so that researchers worldwide can use it to develop and examine their driver emotion analysis methods. To the best of our knowledge, this is currently the only public driver facial expression dataset.

研究动机与目标

• 解決缺乏專注於真實駕駛條件下自發性駕駛員面部表情的公開數據集的問題。
• 開發並驗證一個數據集，以捕捉實際駕駛過程中的維度情緒（喚醒度、評價度、主導度）與離散情緒（例如：憤怒、快樂）。
• 利用動作單元（AUs）比較駕駛與非駕駛情境下的面部表情模式，以識別情境依賴性的情緒表達差異。
• 為DEFE數據集上的情緒識別任務建立基線性能指標（準確率、F1分數），以支援未來的演算法開發。
• 證明駕駛任務會抑制某些情緒表達，因此需要專為駕駛員情緒分析設計的數據集。

提出的方法

• DEFE數據集從60名參與者收集，他們觀看了三段音視頻剪輯，這些剪輯根據SAM與DES量表精心選擇，以引發特定情緒，並針對中國文化背景進行調整。
• 參與者在固定駕駛情境下執行標準化駕駛任務，同時透過視頻記錄面部表情，並使用維度與離散情緒模型收集自陳情緒狀態。
• 使用FACS（面部動作編碼系統）分析面部動作單元（AUs），並以JAFFE數據集作為基準，比較駕駛與非駕駛情境下AUs的出現情況。
• 進行分類實驗以預測喚醒度、評價度、主導度、情緒類別與強度，性能以準確率與F1分數評估。
• 應用邏輯回歸識別在駕駛與非駕駛情境下與特定情緒（如憤怒、快樂）顯著相關的AUs。
• 對DEFE（駕駛）與JAFFE（非駕駛）數據集中的AUs頻率進行統計比較，以評估情境依賴的表達差異。

实验结果

研究问题

• RQ1 駕駛與非駕駛情境下，面部表情模式（特別是動作單元AU的出現）有何差異？
• RQ2 使用DEFE數據集對維度情緒（喚醒度、評價度、主導度）與離散情緒（情緒類別與強度）進行分類，可達成的基線性能如何？
• RQ3 駕駛任務在多大程度上會抑制或改變特定情緒（如憤怒與快樂）的表達？
• RQ4 在DEFE數據集上的情緒識別結果與CK+與DEAP等既定數據集的結果相比如何？
• RQ5 是否存在文化或情境因素（如日本文化中的情緒抑制）影響駕駛過程中的AUs表達？

主要发现

• DEFE數據集是首個專注於真實駕駛情境下自發性駕駛員面部表情的公開可用數據集，且在標準化條件下收集。
• 對喚醒度、評價度、主導度、情緒類別與強度的基線分類性能顯著優於隨機分類，準確率與F1分數顯示出該數據集在模型訓練中的實用性。
• 駕駛與非駕駛情境下AUs的出現存在顯著差異：AU4、AU5、AU6與AU12在非駕駛情境中更為常見，而AU7與AU23在駕駛情境中更為頻繁。
• 對於憤怒情緒，僅AU4（眉毛降低）在駕駛情境中具有顯著預測能力，而在非駕駛情境中，AU4、AU5與AU23均顯著，顯示駕駛過程中情緒表達受到抑制。
• 對於快樂情緒，駕駛情境中未發現顯著的AU-情緒相關性，但AU12（嘴角上提）在非駕駛情境中顯著，進一步支持正面情緒在駕駛過程中的表達被抑制。
• 結果表明，駕駛過程中的情緒表達受任務需求與文化規範的約束，因此需要專為駕駛情境設計的數據集，以避免情緒識別系統性能下降。