[논문 리뷰] EEV: A Large-Scale Dataset for Studying Evoked Expressions from Video

Jennifer J. Sun, Ting Liu외 4명|arXiv (Cornell University)|2020. 01. 15.

Emotion and Mood Recognition참고 문헌 49인용 수 8

한 줄 요약

이 논문은 6Hz에서 3670만 개의 프레임 수준 얼굴 표정 주석이 포함된 23,574개의 영상으로 구성된 대규모 데이터셋 EEV를 소개한다. 이 데이터셋은 시청자가 반응하는 모습을 캡처한다. 영상 기반 표정 인식 모델을 활용해 스케일러블한 데이터 수집을 수행한 저자들은 다중모달 RNN 기반 기준 모델을 수립하고, LIRIS-ACCEDE에서 전이 학습 성과를 입증하여 영상 콘텐츠로부터 유도된 정서 예측의 향상을 가능하게 한다.

ABSTRACT

Videos can evoke a range of affective responses in viewers. The ability to predict evoked affect from a video, before viewers watch the video, can help in content creation and video recommendation. We introduce the Evoked Expressions from Videos (EEV) dataset, a large-scale dataset for studying viewer responses to videos. Each video is annotated at 6 Hz with 15 continuous evoked expression labels, corresponding to the facial expression of viewers who reacted to the video. We use an expression recognition model within our data collection framework to achieve scalability. In total, there are 36.7 million annotations of viewer facial reactions to 23,574 videos (1,700 hours). We use a publicly available video corpus to obtain a diverse set of video content. We establish baseline performance on the EEV dataset using an existing multimodal recurrent model. Transfer learning experiments show an improvement in performance on the LIRIS-ACCEDE video dataset when pre-trained on EEV. We hope that the size and diversity of the EEV dataset will encourage further explorations in video understanding and affective computing. A subset of EEV is released at https://github.com/google-research-datasets/eev.

연구 동기 및 목표

• 영상 콘텐츠에 대한 유도된 정서 반응을 연구하기 위한 대규모이고 다양한 데이터셋의 부족을 해결하기 위해.
• 영상 시청 중 시청자의 프레임 수준 얼굴 표정 주석을 자동으로 수집하기 위한 스케일러블하고 자동화된 프레임워크를 개발하기 위해.
• 다중모달 특징을 사용하여 영상 콘텐츠에서 직접적으로 유도된 얼굴 표정을 예측하기 위한 벤치마크를 수립하기 위해.
• EEV가 관련 정서 컴퓨팅 작업에서 전이 학습 잠재력을 어떻게 평가할 수 있는지 평가하기 위해.
• 영상 주제와 콘텐츠가 특정 유도된 표정과 어떻게 관련되어 있는지 탐색하기 위해.

제안 방법

• 실시간 영상 재생 중 시청자의 얼굴 표정을 자동으로 탐지하고 주석 처리하기 위해 사전 훈련된 표정 인식 모델을 활용하였다.
• 공개된 영상을 시청하는 시청자로부터 반응을 수집하였으며, 유도된 표정의 동적 변화를 캡처하기 위해 6Hz의 프레임 레이트를 사용하였다.
• 23,574개의 영상에서 각 프레임에 대해 15개의 연속적 얼굴 표정 레이블(예: 웃음, 놀람, 분노)을 주석 처리하였다.
• 영상 콘텐츠에서 유도된 표정을 예측하기 위해 이미지, 얼굴, 음성 특징을 포함한 다중모달 순환 신경망(RNN) 모델을 사용하였다.
• EEV에서 기준 모델을 사전 훈련하고 LIRIS-ACCEDE 데이터셋에서 미세조정함으로써 전이 학습을 수행하였다.
• 개별 모odal(이미지, 얼굴, 음성)이 예측 성능에 기여하는 정도를 평가하기 위해 특징 제거 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 추가적인 시청자 특성 데이터 없이 영상 콘텐츠만으로도 유도된 얼굴 표정을 예측할 수 있는가?
• RQ2 영상 콘텐츠에서 예측하기 쉬운 유도된 얼굴 표정은 무엇이며, 예측하기 어려운 것은 무엇인가?
• RQ3 다양한 영상 주제나 콘텐츠 유형이 특정 유도된 표정과 어떻게 관련되어 있는가?
• RQ4 EEV 데이터셋이 관련 정서 컴퓨팅 작업에서 전이 학습을 통해 성능 향상에 얼마나 기여하는가?
• RQ5 영상, 얼굴, 음성 특징 중 어느 것이 유도된 표정 예측에 상대적으로 더 큰 기여를 하는가?

주요 결과

• 기준 다중모달 RNN 모델은 모든 15개의 유도된 표정에서 양의 상관관계를 보였으며, 분노나 승리보다는 웃음, 집중, 놀람에 대해 더 높은 상관관계를 보였다.
• 음성 특징이 예측 성능에 가장 크게 기여하였으며, 이를 제거했을 때 모든 표정에서 상관관계가 가장 크게 감소하였다.
• 얼굴 특징는 가장 정보가 적은 모달이었고, 음성 특징을 제거하는 것보다 영향이 적었으며, 이는 중복성 또는 제한된 분류 능력을 시사한다.
• EEV에서 전이 학습을 통해 LIRIS-ACCEDE 데이터셋에서 성능이 향상되었으며, 정서성(Valence)의 경우 평균 제곱오차(MSE)가 30% 감소하고, 자극성(Arousal)의 경우 32% 감소하여 정서성에서 더 큰 향상이 이루어졌다.
• 음성 특징이 포함될 경우, 만족감과 실망감과 같은 특정 표정이 더 잘 예측됨을 확인하였다.
• 자동 주석 처리를 통해 유도된 EEV의 영상 주제 분포는 주제가 겹치지 않는 다양한 콘텐츠를 포함하고 있어, 정서 영상 분석 분야에 광범위한 적용 가능성을 뒷받침한다.