[论文解读] Dynamic Facial Expression of Emotion Made Easy

Joost Broekens, Chao Qu+1 more|arXiv (Cornell University)|Nov 19, 2012

Social Robot Interaction and HRI参考文献 44被引用 5

一句话总结

本文提出了一种简单、经过验证且可免费获取的方法，利用面部动作编码系统（FACS）生成虚拟角色的动态情绪面部表情。该方法使开发者能够轻松实现高识别准确率的基本情绪与混合情绪（例如喜悦、愤怒、挫败感）的逼真、可识别表情，且在不同人口统计群体和观看条件下均表现良好。

ABSTRACT

Facial emotion expression for virtual characters is used in a wide variety of areas. Often, the primary reason to use emotion expression is not to study emotion expression generation per se, but to use emotion expression in an application or research project. What is then needed is an easy to use and flexible, but also validated mechanism to do so. In this report we present such a mechanism. It enables developers to build virtual characters with dynamic affective facial expressions. The mechanism is based on Facial Action Coding. It is easy to implement, and code is available for download. To show the validity of the expressions generated with the mechanism we tested the recognition accuracy for 6 basic emotions (joy, anger, sadness, surprise, disgust, fear) and 4 blend emotions (enthusiastic, furious, frustrated, and evil). Additionally we investigated the effect of VC distance (z-coordinate), the effect of the VC's face morphology (male vs. female), the effect of a lateral versus a frontal presentation of the expression, and the effect of intensity of the expression. Participants (n=19, Western and Asian subjects) rated the intensity of each expression for each condition (within subject setup) in a non forced choice manner. All of the basic emotions were uniquely perceived as such. Further, the blends and confusion details of basic emotions are compatible with findings in psychology.

研究动机与目标

• 提供一种简单、灵活且经过验证的机制，用于在虚拟角色中生成动态情感面部表情。
• 解决在现实应用中对易于实现、同时支持基本情绪与混合情绪的解决方案的需求。
• 确保生成的表情在包括西方与亚洲参与者在内的多样化用户群体中具有感知有效性。
• 评估关键变量（如观看距离、面部形态、呈现角度和表情强度）对情绪识别的影响。
• 提供开源代码，以加速其在人机交互与情感计算研究中的应用。

提出的方法

• 该方法基于面部动作编码系统（FACS），将特定的面部动作单元（AUs）映射到情绪表达。
• 使用预定义的AU组合，为六种基本情绪（喜悦、愤怒、悲伤、惊讶、厌恶、恐惧）和四种混合情绪（热情、狂怒、挫败、邪恶）生成动态面部表情。
• 系统设计用于轻松集成到现有的虚拟角色工作流中，并提供公开的源代码。
• 使用控制形态和位置参数的3D虚拟角色（VCs）渲染表情。
• 采用被试内实验设计，参与者在无强制选择的情况下对表情强度进行评分。
• 从正面和侧面角度以不同z距离呈现虚拟角色，以评估感知鲁棒性。

实验结果

研究问题

• RQ1 一种简单、基于FACS的方法能否可靠地生成可被多样化参与者识别为特定情绪的动态面部表情？
• RQ2 观看距离（z坐标）、面部形态（男性与女性）和呈现角度（正面与侧面）如何影响情绪识别准确率？
• RQ3 混合情绪（例如狂怒、挫败）在多大程度上保持感知上的独特性，并与心理学研究结果一致？
• RQ4 表情强度如何影响不同情绪类别中的识别率和感知情绪效价？
• RQ5 生成的表情是否与既有的情绪感知心理模型一致？

主要发现

• 六种基本情绪（喜悦、愤怒、悲伤、惊讶、厌恶、恐惧）均被参与者独特感知并正确识别。
• 混合情绪（例如热情、狂怒、挫败、邪恶）的识别准确率符合心理学预期，且与基本情绪之间的混淆度较低。
• 参与者在不同观看距离、面部形态和呈现角度下的识别准确率保持较高水平，表明该方法对这些因素具有鲁棒性。
• 表情强度评分具有一致性，并在不同情绪类别间表现出显著差异，支持该方法对情绪调节的敏感性。
• 结果表明，所提出的方法在包括西方和亚洲受试者在内的多样化用户群体中，均能生成感知有效且独特的表情。
• 开源代码的提供使得该方法可快速部署并集成到需要表达性虚拟角色的应用中。