[논문 리뷰] Identifying Emotions from Walking using Affective and Deep Features

Tanmay Randhavane, Uttaran Bhattacharya외 4명|arXiv (Cornell University)|2019. 06. 14.

Human Pose and Action Recognition참고 문헌 86인용 수 50

한 줄 요약

이 논문은 3D 보행 데이터에서 LSTM 유도 심층 보행 특징과 수작업으로 만든 정서적 특징을 결합한 데이터 기반 모델을 제시하며, Random Forest 분류기를 사용해 걷기 비디오에서 인지된 정서(행복, 슬픔, 분노, 중립)를 분류하는 정확도 80.07%를 달성한다.

ABSTRACT

We present a new data-driven model and algorithm to identify the perceived emotions of individuals based on their walking styles. Given an RGB video of an individual walking, we extract his/her walking gait in the form of a series of 3D poses. Our goal is to exploit the gait features to classify the emotional state of the human into one of four emotions: happy, sad, angry, or neutral. Our perceived emotion recognition approach uses deep features learned via LSTM on labeled emotion datasets. Furthermore, we combine these features with affective features computed from gaits using posture and movement cues. These features are classified using a Random Forest Classifier. We show that our mapping between the combined feature space and the perceived emotional state provides 80.07% accuracy in identifying the perceived emotions. In addition to classifying discrete categories of emotions, our algorithm also predicts the values of perceived valence and arousal from gaits. We also present an EWalk (Emotion Walk) dataset that consists of videos of walking individuals with gaits and labeled emotions. To the best of our knowledge, this is the first gait-based model to identify perceived emotions from videos of walking individuals.

연구 동기 및 목표

• 사회적 인식 및 HCI 맥락에서 걷기에서의 자동 정서 인식이 비언어적 큐로서의 가능성을 제시한다.
• 깊은 시간적 특징과 수작업으로 만든 정서적 특징을 모두 사용하는 보행 기반 정서 인식 파이프라인을 개발한다.
• 연구용으로 보행 비디오와 인지된 정서 라벨이 포함된 EWalk 데이터셋을 생성하고 공개한다.

제안 방법

• TimePoseNet을 사용해 RGB 비디오에서 3D 보행 포즈를 추출하여 프레임 간 16개의 관절 시퀀스를 얻는다.
• 보행 시퀀스에서 자세와 움직임을 포함한 정서적 특징(부피, 면적, 거리, 각도, 보폭 길이, 모션의 크기(속도, 가속도, 저크))을 계산한다.
• 다양한 보행 데이터셋에서 학습된 LSTM 네트워크로 심층 특징을 모델링하여 보행의 시간적 역학을 포착한다.
• 정규화된 심층 특징과 정서적 특징을 연결하고 Random Forest 분류기를 학습시켜 네 가지 인지된 정서(행복, 분노, 슬픔, 중립) 중 하나를 예측한다.
• LSTM은 여러 보행 데이터셋으로 학습하고 최종 분류를 위해 최대 깊이 5의 10-에스티메이터 RF를 사용한다.
• 1384 보행에 대해 10-fold 교차 검증으로 평가하고, 기존 보행 기반 방법 대비 정확도 향상을 보고한다.

실험 결과

연구 질문

• RQ1 깊은 보행 특징과 정서적 자세/움직임 특징을 결합하는 것이 각 특징 유형만 사용했을 때보다 걷기에서의 인지된 정서 인식 정확도를 개선할 수 있는가?
• RQ2 결합된 특징 공간을 보행의 이산적 인지 정서로 매핑하는 데 가장 적합한 분류기는 무엇인가?
• RQ3 연출 및 비연출 보행 데이터셋에서 이 접근법은 얼마나 잘 일반화되는가?
• RQ4 모델이 이산적 정서 범주 외에 보행에서의 가치성(valence)/각성(arousal)을 예측할 수 있는가?
• RQ5 인지된 정서 라벨이 있는 새로운 공개 보행 데이터셋(EWalk)을 사용했을 때 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 보행 데이터로부터 네 가지 인지된 정서 범주를 분류하는 80.07%의 정확도를 달성한다.
• 정규화된 연결된 특징(깊은 특징 + 정서적 특징)을 사용하는 Random Forest가 이 작업에서 SVM 변종보다 우수한 성능을 보인다.
• 비연출된 데이터셋(CMU 및 ICT)에서도 79.72%의 정확도로 강한 성능을 유지한다.
• 회전 Turk(Mechanical Turk)을 통해 수집된 1,136 보행 및 인지된 정서 라벨이 있는 새로운 데이터셋 EWalk를 도입한다.
• 그들의 평가 설정에서 다른 보행 기반 정서 인식 방법에 비해 13.85%의 정확도 향상을 보고한다.