[论文解读] Data-driven emotional body language generation for social robotics

Mina Marmpena, Fernando García+3 more|arXiv (Cornell University)|May 2, 2022

Social Robot Interaction and HRI被引用 4

一句话总结

本文提出一种基于数据驱动的框架，利用条件变分自编码器（CVAE）生成具有情感表达的机器人肢体语言，通过潜在空间采样以情感维度中的愉悦度和唤醒度作为条件。该方法成功生成的动画在感知上与手工设计的动画一样具有拟人化和生动性，高唤醒度和极端愉悦度的表达更能吸引注意力，并被评价为更具情感性。

ABSTRACT

In social robotics, endowing humanoid robots with the ability to generate bodily expressions of affect can improve human-robot interaction and collaboration, since humans attribute, and perhaps subconsciously anticipate, such traces to perceive an agent as engaging, trustworthy, and socially present. Robotic emotional body language needs to be believable, nuanced and relevant to the context. We implemented a deep learning data-driven framework that learns from a few hand-designed robotic bodily expressions and can generate numerous new ones of similar believability and lifelikeness. The framework uses the Conditional Variational Autoencoder model and a sampling approach based on the geometric properties of the model's latent space to condition the generative process on targeted levels of valence and arousal. The evaluation study found that the anthropomorphism and animacy of the generated expressions are not perceived differently from the hand-designed ones, and the emotional conditioning was adequately differentiable between most levels except the pairs of neutral-positive valence and low-medium arousal. Furthermore, an exploratory analysis of the results reveals a possible impact of the conditioning on the perceived dominance of the robot, as well as on the participants' attention.

研究动机与目标

• 开发一种基于数据驱动的方法，用于生成多样化且可信的情感肢体语言（EBL）的类人机器人。
• 通过深度学习技术，实现对生成EBL在情感维度——愉悦度和唤醒度——上的精确控制。
• 评估CVAE生成的EBL是否在感知上与手工设计的动画一样具有拟人化、生动性以及情感可解释性。
• 研究情感条件对人机交互中用户注意力与感知的影响。

提出的方法

• 在小规模手工设计的EBL动画数据集上训练了条件变分自编码器（CVAE），数据集涵盖Pepper机器人的运动与眼部LED颜色序列。
• 通过标量愉悦度标签对模型进行条件控制，以调节情感基调（积极、中性、消极）。
• 利用CVAE潜在空间的几何特性，通过调节潜在空间中的半径来采样具有目标唤醒度水平的新动画。
• 采用一种采样策略，将期望的唤醒度水平映射到潜在空间中的特定区域，以生成多样化且上下文相关的动画。
• 通过用户研究验证模型的泛化能力，评估其感知质量和情感可解释性。
• 采用有序逻辑回归分析用户对情感强度、拟人化程度和生动性的评分，并检验比例优势假设。

实验结果

研究问题

• RQ1 CVAE模型能否生成在感知上可信且逼真的情感化机器人肢体语言？
• RQ2 通过条件控制，愉悦度和唤醒度在生成的EBL动画中能在多大程度上被有效调控？
• RQ3 CVAE生成的动画在拟人化和生动性感知方面与手工设计的动画相比如何？
• RQ4 高唤醒度或极端愉悦度的情感表达是否比中性或低唤醒度表达更能吸引用户注意力？
• RQ5 在区分中性与积极愉悦度，或中等与低唤醒度水平方面是否存在感知上的局限？

主要发现

• 以消极或积极愉悦度为条件的动画在情感可解释性评分上显著高于中性愉悦度条件的动画（消极 vs 中性，p < 0.001；积极 vs 中性，p = 0.01）。
• 高唤醒度动画在感知上显著更具情感性，高于中等或低唤醒度动画（高 vs 中，p < 0.001；高 vs 低，p = 0.01）。
• 中性与积极愉悦度之间，以及中等与低唤醒度之间未发现显著差异，表明在这些配对中感知区分度有限。
• 生成的动画在感知上未被评价为比手工设计的动画更缺乏拟人化或生动性，无论在研究前还是研究后（p > 0.05）。
• 高唤醒度或极端愉悦度水平的动画吸引了更多用户注意力，表明其具有强烈的感知影响。
• 所有模型的比例优势假设均得到满足（p > 0.05），支持有序逻辑回归分析的有效性。