[논문 리뷰] A Spontaneous Driver Emotion Facial Expression (DEFE) Dataset for Intelligent Vehicles

Wenbo Li, Yaodong Cui외 5명|arXiv (Cornell University)|2020. 04. 26.

Emotion and Mood Recognition참고 문헌 30인용 수 8

한 줄 요약

이 논문은 실제 주행 상황에서 60명의 참가자로부터 촬영한 자연스러운 운전자의 얼굴 표정을 포함하는 공개된 DEFE 데이터셋을 소개한다. 이는 음성-영상 자극을 통해 특정 감정을 유도하기 위해 설계되었다. 연구는 각기 다른 감정 차원(기분, 평가, 지배력), 감정 유형, 강도에 대한 기준 분류 성능을 수립하였으며, 주행 중과 비주행 중의 행동 단위(AU) 존재 여부에 있어 뚜렷한 차이를 발견하여, 지능형 차량의 안전성을 향상시키기 위해 주행 전용 감정 데이터셋이 필요하다는 점을 시사한다.

ABSTRACT

In this paper, we introduce a new dataset, the driver emotion facial expression (DEFE) dataset, for driver spontaneous emotions analysis. The dataset includes facial expression recordings from 60 participants during driving. After watching a selected video-audio clip to elicit a specific emotion, each participant completed the driving tasks in the same driving scenario and rated their emotional responses during the driving processes from the aspects of dimensional emotion and discrete emotion. We also conducted classification experiments to recognize the scales of arousal, valence, dominance, as well as the emotion category and intensity to establish baseline results for the proposed dataset. Besides, this paper compared and discussed the differences in facial expressions between driving and non-driving scenarios. The results show that there were significant differences in AUs (Action Units) presence of facial expressions between driving and non-driving scenarios, indicating that human emotional expressions in driving scenarios were different from other life scenarios. Therefore, publishing a human emotion dataset specifically for the driver is necessary for traffic safety improvement. The proposed dataset will be publicly available so that researchers worldwide can use it to develop and examine their driver emotion analysis methods. To the best of our knowledge, this is currently the only public driver facial expression dataset.

연구 동기 및 목표

• 실제 주행 조건에서 자연스러운 운전자의 얼굴 표정에 중점을 둔 공개된 데이터셋이 부족한 문제를 해결하기 위해.
• 실제 주행 중에 차원적(기분, 평가, 지배력) 및 이산적(예: 분노, 기쁨) 감정 차원을 모두 촬영한 데이터셋을 개발하고 검증하기 위해.
• 행동 단위(AU)를 사용하여 주행 및 비주행 상황 간의 얼굴 표정 패턴을 비교하여 맥락에 따라 달라지는 감정 표현의 차이를 규명하기 위해.
• 감정 인식 작업을 위한 기준 성능 지표(정확도, F1 점수)를 DEFE 데이터셋에 적용하여 향후 알고리즘 개발을 지원하기 위해.
• 주행 작업이 특정 감정 표현을 억제한다는 점을 입증하여, 운전자의 감정 분석에 특화된 데이터셋이 필요하다는 점을 밝히기 위해.

제안 방법

• DEFE 데이터셋은 중국 문화적 맥락에 맞게 SAM 및 DES 척도를 기반으로 특정 감정을 유도하기 위해 선택된 3개의 음성-영상 클립을 시청한 60명의 참가자로부터 수집되었다.
• 참가자들은 고정된 주행 시나리오에서 표준화된 주행 작업을 수행하면서 얼굴 표정은 영상으로 기록되었고, 자기 보고된 감정 상태는 차원적 및 이산적 감정 모델을 통해 수집되었다.
• 행동 단위(AU)는 FACS(Facial Action Coding System)를 사용하여 분석되어, JAFFE 데이터셋을 기준으로 하여 주행 및 비주행 상황 간의 AU 존재 여부를 비교하였다.
• 분류 실험을 통해 기분, 평가, 지배력, 감정 유형, 강도를 예측하였으며, 정확도 및 F1 점수를 사용하여 성능을 평가하였다.
• 로지스틱 회귀를 적용하여 주행 및 비주행 맥락에서 특정 감정(예: 분노, 기쁨)과 관련된 유의미한 AU를 규명하였다.
• DEFE(주행) 및 JAFFE(비주행) 데이터셋 간의 AU 빈도를 통계적으로 비교하여 맥락에 따라 달라지는 표현 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 주행 및 비주행 상황 간에 얼굴 표정 패턴, 특히 행동 단위(AU) 존재 여부에서 어떤 차이가 있는가?
• RQ2 DEFE 데이터셋을 사용하여 차원적(기분, 평가, 지배력) 및 이산적(감정 유형 및 강도) 감정을 분류하는 데 기대할 수 있는 기준 성능는 무엇인가?
• RQ3 주행 작업이 분노나 기쁨과 같은 특정 감정의 표현을 어느 정도 억제하거나 변화시키는가?
• RQ4 DEFE 데이터셋에서의 감정 인식 결과는 CK+ 및 DEAP와 같은 기존 데이터셋의 결과와 어떻게 비교되는가?
• RQ5 일본 문화에서 감정 억제와 같은 문화적 또는 맥락적 요인이 주행 중 AU 표현에 영향을 미치는가?

주요 결과

• DEFE 데이터셋은 실제 주행 중 자연스러운 운전자의 얼굴 표정에 초점을 맞춘 첫 번째 공개된 데이터셋으로, 표준화된 조건에서 수집되었다.
• 기분, 평가, 지배력, 감정 유형, 강도에 대한 기준 분류 성능는 무작위 분류를 뛰어넘는 유의미한 성과를 보였으며, 정확도 및 F1 점수는 모델 훈련에 대한 데이터셋의 유용성을 입증하였다.
• 주행 및 비주행 상황 간의 AU 존재 여부에 있어 뚜렷한 차이가 발견되었다: AU4, AU5, AU6, AU12는 비주행 상황에서 더 흔했고, AU7 및 AU23는 주행 중 더 자주 관찰되었다.
• 분노에 대해서는 주행 상황에서는 오직 AU4(Brow Lowerer)만이 유의미한 예측 능력을 보였지만, 비주행 상황에서는 AU4, AU5, AU23가 모두 유의미하여 주행 중 감정 표현이 억제됨을 시사한다.
• 기쁨에 대해서는 주행 상황에서는 유의미한 AU-감정 상관관계가 발견되지 않았지만, 비주행 상황에서는 AU12(Lip Corner Puller)가 유의미하여 주행 중 긍정적 표현이 억제됨을 더욱 뒷받침한다.
• 결과는 주행 중 감정 표현이 과제 요구 사항과 문화적 규범에 의해 제한됨을 시사하며, 감정 인식 시스템의 성능 저하를 방지하기 위해 주행 맥락에 특화된 데이터셋이 필요하다는 점을 강조한다.