[论文解读] MIMAMO Net: Integrating Micro- and Macro-motion for Video Emotion Recognition

Didan Deng, Zhaokang Chen+2 more|arXiv (Cornell University)|Nov 21, 2019

Emotion and Mood Recognition参考文献 33被引用 14

一句话总结

该论文提出MIMAMO Net，一种双流循环神经网络，通过使用相位差而非光流作为时间输入，整合面部微运动与宏观运动特征，实现视频情绪识别。该模型在OMG-Emotion和Aff-Wild数据集上达到最先进性能，显著提升了唤醒度预测效果，并增强了对光照变化的鲁棒性。

ABSTRACT

Spatial-temporal feature learning is of vital importance for video emotion recognition. Previous deep network structures often focused on macro-motion which extends over long time scales, e.g., on the order of seconds. We believe integrating structures capturing information about both micro- and macro-motion will benefit emotion prediction, because human perceive both micro- and macro-expressions. In this paper, we propose to combine micro- and macro-motion features to improve video emotion recognition with a two-stream recurrent network, named MIMAMO (Micro-Macro-Motion) Net. Specifically, smaller and shorter micro-motions are analyzed by a two-stream network, while larger and more sustained macro-motions can be well captured by a subsequent recurrent network. Assigning specific interpretations to the roles of different parts of the network enables us to make choice of parameters based on prior knowledge: choices that turn out to be optimal. One of the important innovations in our model is the use of interframe phase differences rather than optical flow as input to the temporal stream. Compared with the optical flow, phase differences require less computation and are more robust to illumination changes. Our proposed network achieves state of the art performance on two video emotion datasets, the OMG emotion dataset and the Aff-Wild dataset. The most significant gains are for arousal prediction, for which motion information is intuitively more informative. Source code is available at https://github.com/wtomin/MIMAMO-Net.

研究动机与目标

• 通过联合建模面部表情中的微运动与宏观运动，提升视频情绪识别性能。
• 解决光流在处理光照变化和计算复杂性方面的局限性。
• 利用复数可旋转金字塔提取的相位差，开发更鲁棒且高效的运动表征。
• 证明常被忽视的微运动特征对唤醒度预测具有显著贡献。
• 验证相位差相较于光流和原始相位图像，在时间流输入中的优越性。

提出的方法

• MIMAMO Net采用双流架构：空间流用于提取外观特征，时间流用于提取运动特征。
• 时间流使用复数可旋转金字塔中的帧间相位差作为运动表征，替代光流。
• 相位差通过计算可旋转金字塔变换中连续帧之间的相位偏移获得，具备光照不变性且计算成本更低。
• 基于GRU的循环网络用于处理融合后的空间与时间特征，以建模视频序列中的长期时间依赖性。
• 模型在视频序列上端到端进行训练，特征融合在最终情绪预测头之前完成。
• 通过在帧上应用随机伽马校正评估对光照变化的鲁棒性，以模拟真实世界中的光照变化。

实验结果

研究问题

• RQ1 整合微运动与宏观运动特征是否能提升视频情绪识别性能？
• RQ2 使用相位差替代光流是否能带来更好的性能与鲁棒性？
• RQ3 与效价预测相比，微运动对唤醒度预测的贡献如何？
• RQ4 所提出的运动表征是否比光流对光照变化更具鲁棒性？
• RQ5 空间流与时间流是否为情绪识别提供了互补信息？

主要发现

• MIMAMO Net在OMG-Emotion和Aff-Wild两个数据集上均达到最先进性能，优于先前方法。
• 在Aff-Wild数据集上，融合空间流与时间流后，唤醒度预测性能提升26.8%，而效价预测仅提升12.8%，证实运动特征对唤醒度更具相关性。
• 将相位差作为时间流输入时，性能优于光流（Aff-Wild上唤醒度F1-score为0.580 vs. 0.578）和原始相位图像。
• 使用相位差的模型在光照变化下保持稳定性能，而基于光流的模型在伽马校正变化增大时性能显著下降。
• 空间流对情绪识别的贡献大于时间流，但融合双流能带来最大性能提升，尤其在唤醒度预测方面。
• 使用相位差将计算成本降低约10倍，同时提升了对亮度变化的鲁棒性。