[论文解读] Emotion Recognition From Gait Analyses: Current Research and Future Directions

Shihao Xu, Jing Fang+5 more|arXiv (Cornell University)|Mar 13, 2020

Gait Recognition and Analysis参考文献 78被引用 12

一句话总结

本文综述了基于步态的情绪识别，强调了步态运动学如何反映情绪状态，并提出了一种利用步态分析实现自动化情绪检测的框架。它突出了步态相较于面部和语音方法的优势——远程、非侵入性且难以伪造——并概述了从数据采集到深度学习分类的关键技术组件，主张通过大规模数据集和智能计算来提升实际应用中的准确性和实时性能。

ABSTRACT

Human gait refers to a daily motion that represents not only mobility, but it can also be used to identify the walker by either human observers or computers. Recent studies reveal that gait even conveys information about the walker's emotion. Individuals in different emotion states may show different gait patterns. The mapping between various emotions and gait patterns provides a new source for automated emotion recognition. Compared to traditional emotion detection biometrics, such as facial expression, speech and physiological parameters, gait is remotely observable, more difficult to imitate, and requires less cooperation from the subject. These advantages make gait a promising source for emotion detection. This article reviews current research on gait-based emotion detection, particularly on how gait parameters can be affected by different emotion states and how the emotion states can be recognized through distinct gait patterns. We focus on the detailed methods and techniques applied in the whole process of emotion recognition: data collection, preprocessing, and classification. At last, we discuss possible future developments of efficient and effective gait-based emotion recognition using the state of the art techniques on intelligent computation and big data.

研究动机与目标

• 系统性回顾当前关于基于步态的情绪识别的研究，重点关注情绪状态如何影响步态模式。
• 识别在步态数据采集、预处理、特征提取和分类过程中用于情绪识别的技术挑战。
• 探讨步态作为非侵入性、远程且难以伪造的生物特征模态在自动化情绪检测中的潜力。
• 提出未来研究方向，利用智能计算和大数据提升模型泛化能力与实时性能。
• 倡导开发大规模、多样化且多视角的步态数据集，以支持鲁棒的深度学习训练。

提出的方法

• 利用步态运动学参数（如步长、周期时长和双支撑时间）作为情绪状态的指标。
• 应用数据预处理技术（包括噪声抑制和归一化）以提升情绪相关分析的信号质量。
• 采用特征选择与降维方法，提取与情绪相关的判别性步态模式。
• 使用深度学习模型（如 C3D+ConvLSTM），结合3D卷积神经网络与LSTM，以捕捉时空步态动态。
• 整合多视角与多模态数据（RGB、RGB-D），以增强模型在不同环境条件下的鲁棒性。
• 提出并行目标分割技术，以应对监控场景中多行人共存的情况，确保身份在时间上的连续性。

实验结果

研究问题

• RQ1 不同情绪状态（如抑郁、快乐）如何在可测量的步态运动学参数中体现？
• RQ2 在步态数据采集、预处理和分类过程中，用于情绪识别的关键技术挑战是什么？
• RQ3 如何有效结合深度神经网络以提升基于步态的情绪分类的准确性和鲁棒性？
• RQ4 大规模、多样化且多视角的步态数据在训练泛化能力强的情绪识别模型中起到什么作用？
• RQ5 在公共监控环境中实现实时、在线的情绪预测面临哪些计算与实际障碍？

主要发现

• 抑郁个体的步态明显更慢，步长更短，双支撑时间更短，与非抑郁对照组相比具有显著差异。
• 人类观察者即使仅通过光点显示也能可靠识别情绪，表明步态运动学中存在固有的情绪线索。
• 基于步态的情绪识别相较于面部和语音方法具有优势，因其可远程观测、对合作程度要求低，且难以被模仿。
• 混合深度学习架构（如 C3D+ConvLSTM）通过融合空间与时间特征学习，在动作识别任务中表现优异。
• 大规模、多视角、多条件的数据集（如 HumanID 步态挑战赛数据集）是构建全面情绪-步态数据集的重要模板。
• 基于步态的在线情绪预测仍具挑战性，尤其因深度网络计算需求高，亟需高效的实时推理方法。