[论文解读] Identifying Emotions from Walking using Affective and Deep Features

Tanmay Randhavane, Uttaran Bhattacharya+4 more|arXiv (Cornell University)|Jun 14, 2019

Human Pose and Action Recognition参考文献 86被引用 50

一句话总结

本文提出一个数据驱动模型，将基于 LSTM 的深度步态特征与来自三维步态数据的手工情感特征相结合，使用随机森林分类器，在从走路视频中分类感知情感（快乐、悲伤、愤怒、中性）时达到 80.07% 的准确率。

ABSTRACT

We present a new data-driven model and algorithm to identify the perceived emotions of individuals based on their walking styles. Given an RGB video of an individual walking, we extract his/her walking gait in the form of a series of 3D poses. Our goal is to exploit the gait features to classify the emotional state of the human into one of four emotions: happy, sad, angry, or neutral. Our perceived emotion recognition approach uses deep features learned via LSTM on labeled emotion datasets. Furthermore, we combine these features with affective features computed from gaits using posture and movement cues. These features are classified using a Random Forest Classifier. We show that our mapping between the combined feature space and the perceived emotional state provides 80.07% accuracy in identifying the perceived emotions. In addition to classifying discrete categories of emotions, our algorithm also predicts the values of perceived valence and arousal from gaits. We also present an EWalk (Emotion Walk) dataset that consists of videos of walking individuals with gaits and labeled emotions. To the best of our knowledge, this is the first gait-based model to identify perceived emotions from videos of walking individuals.

研究动机与目标

• 动机：在社会感知和人机交互（HCI）情境中，将从走路中自动感知情感视为一种非语言线索。
• 开发一种基于步态的情感识别管道，使用深度时序特征和手工情感特征。
• 创建并公开用于研究的 EWalk 数据集，包含步态视频和感知情感标签。

提出的方法

• 使用 TimePoseNet 从 RGB 视频提取 3D 步态姿态，获得跨帧的 16 个关节序列。
• 从步态序列计算情感特征（姿态和运动），包括体积、面积、距离、角度、步长，以及运动幅度（速度、加速度、跃度）。
• 用在多个步态数据集上训练的 LSTM 网络对深度特征建模，以捕捉步态的时序动态。
• 将归一化后的深度特征与情感特征连接起来，并训练一个随机森林分类器，以预测四个感知情感之一（快乐、愤怒、悲伤、中性）。
• 使用多个步态数据集训练 LSTM，并对最终分类使用一个具有 10 个估计器、最大深度为 5 的随机森林。
• 通过对 1384 条步态进行 10 折交叉验证进行评估，报告相对于早前基于步态的方法在准确率上的提升。

实验结果

研究问题

• RQ1 将深度步态特征与情感姿态/运动特征结合，是否能比单独使用任一特征类型时更准确地对行走中的感知情感进行识别？
• RQ2 在步态中，将融合特征映射到离散感知情感的最佳分类器是什么？
• RQ3 该方法在表演性和非表演性步态数据集上的泛化能力如何？
• RQ4 该模型是否可以从步态中预测价性/唤醒（valence/arousal），除了离散情感类别？
• RQ5 使用具有感知情感标签的新公共步态数据集（EWalk）对性能的影响是什么？

主要发现

• 所提出的方法在从步态数据分类四个感知情感类别时达到 80.07% 的准确率。
• 使用归一化后串联特征（深度 + 情感）的随机森林在本任务上优于该任务的 SVM 变体。
• 该方法在非表演数据集（CMU 和 ICT）上保持较高的性能，准确率为 79.72%。
• 引入一个新数据集 EWalk，包含 1,136 条步态和通过 Mechanical Turk 收集的感知情感标签。
• 该研究在其评估设置中，相对于其他基于步态的情感识别方法，报告了 13.85% 的准确率提升。