[论文解读] A Personalized Affective Memory Neural Model for Improving Emotion Recognition

Pablo Barros, German I. Parisi+1 more|arXiv (Cornell University)|Apr 23, 2019

Emotion and Mood Recognition参考文献 35被引用 4

一句话总结

本文提出了一种个性化情感记忆模型，结合条件对抗自编码器以学习先验知识，并采用随需生长网络（Grow-When-Required networks）构建个性化的情绪表征。该模型通过生成式编辑唤醒度与效价，实现实时、自适应的情绪识别，在真实场景数据集上实现了最先进性能，同时保持了可靠的面部特征编码与动态原型更新。

ABSTRACT

Recent models of emotion recognition strongly rely on supervised deep learning solutions for the distinction of general emotion expressions. However, they are not reliable when recognizing online and personalized facial expressions, e.g., for person-specific affective understanding. In this paper, we present a neural model based on a conditional adversarial autoencoder to learn how to represent and edit general emotion expressions. We then propose Grow-When-Required networks as personalized affective memories to learn individualized aspects of emotion expressions. Our model achieves state-of-the-art performance on emotion recognition when evaluated on extit{in-the-wild} datasets. Furthermore, our experiments include ablation studies and neural visualizations in order to explain the behavior of our model.

研究动机与目标

• 解决现有情绪识别模型在处理个性化和在线面部表情方面的局限性。
• 通过学习个体化的情绪表征，无需完整重训练，提升在真实场景中的适应能力。
• 通过在线更新神经表征，实现情感原型的持续学习。
• 通过利用无监督与对抗学习获取面部表情先验知识，减少对强监督数据的依赖。
• 通过神经可视化与消融研究提升模型可解释性。

提出的方法

• 使用条件对抗自编码器学习先验知识（PK）空间，以生成具有指定唤醒度与效价值的面部表情。
• PK模型通过三个判别器进行训练：一个用于真实人脸图像，一个用于情绪特异性表征，一个用于照片级真实感质量，确保生成的面部编辑具有多样性与真实性。
• 采用随需生长（GWR）网络作为个性化情感记忆（P-AffMem），根据个体面部表情模式动态构建与更新原型神经元。
• P-AffMem初始时使用PK生成的预编辑面部表征，使交互开始时即具备即时识别能力。
• 通过可视化编码器激活，分析每个判别器如何影响特征学习与表征质量。
• 模型整合了通用先验知识与个体特异性学习，实现在无需重训练情况下的在线自适应。

实验结果

研究问题

• RQ1 神经网络如何以无监督方式学习通用情绪表征，以支持个性化情绪识别？
• RQ2 生成对抗自编码器在提升情绪建模中面部表情编辑的多样性与真实性方面，能发挥多大作用？
• RQ3 基于GWR的情感记忆能否在无需重训练的情况下，实时动态适应新面部表情？
• RQ4 先验知识与在线原型学习的结合，如何提升在真实场景数据集上的识别性能？
• RQ5 不同判别器在引导编码器关注情绪相关面部区域方面发挥何种作用？

主要发现

• 所提模型在真实场景情绪识别数据集上实现了最先进性能，在唤醒度与效价相关性（CCC）指标上优于现有模型。
• 三个判别器（真实性、情绪、照片质量）的组合取得了最佳客观性能，生成的图像具有清晰面部特征且无失真，同时引导编码器注意力集中于眼睛与嘴巴等关键情绪相关区域。
• 神经可视化证实，使用情绪判别器（D_em）训练的编码器能有效过滤出富含表情信息的面部区域，从而获得高于无此判别器模型的CCC值。
• 情感记忆（P-AffMem）在视频处理数秒后即超越先验知识（PK）模型，证明了其在线自适应能力与随时间推移的准确率提升。
• 消融研究显示，仅使用基础损失训练的PK模型（PK_base）未能学习有意义的表征，表现为图像编辑质量差且CCC得分低。
• 生成式先验知识与在线原型学习的结合，使模型从交互开始即可实现可靠、持续的情绪识别，甚至在完整表情覆盖之前即具备识别能力。