[论文解读] Morphology-Independent Facial Expression Imitation for Human-Face Robots

Xu Chen, Rui Gao+5 more|arXiv (Cornell University)|Mar 7, 2026

Social Robot Interaction and HRI被引用 0

一句话总结

提出一种自监督、形态无关的框架，以在定制的人脸机器人 Pengrui 上对表情进行忠实模仿，解耦表情与形态的干扰，并在基线方法上展示更优的表示分离和执行器指令映射性能。

ABSTRACT

Accurate facial expression imitation on human-face robots is crucial for achieving natural human-robot interaction. Most existing methods have achieved photorealistic expression imitation through mapping 2D facial landmarks to a robot's actuator commands. Their imitation of landmark trajectories is susceptible to interference from facial morphology, which would lead to a performance drop. In this paper, we propose a morphology-independent expression imitation method that decouples expressions from facial morphology to eliminate morphological influence and produce more realistic expressions for human-face robots. Specifically, we construct an expression decoupling module to learn expression semantics by disentangling the expression representation from the morphology representation in a self-supervised manner. We devise an expression transfer module to map the representations to the robot's actuator commands through a learning objective of perceiving expression errors, producing accurate facial expressions based on the learned expression semantics. To support experimental validation, a custom-designed and highly expressive human-face robot, namely Pengrui, is developed to serve as an experimental platform for realistic expression imitation. Extensive experiments demonstrate that our method enables the human-face robot to reproduce a wide range of human-like expressions effectively. All code and implementation details of the robot will be released.

研究动机与目标

• 动机：在人脸机器人上对表情进行模仿时，形态驱动的表情表示干扰显著阻碍实现。
• 目标：将表情与形态解耦，以实现跨多样形态的鲁棒、真实仿真的模仿。
• 方法：通过自监督的解耦学习表情语义，并将其映射到机器人执行器，利用感知误差驱动的转移。
• 贡献：提出一种新的形态无关框架，并为真实世界验证设计了高保真机器人（Pengrui）。

提出的方法

• 表达解耦模块（EDM）：利用带有基于 FLAME 的自监督的编码器–解码器，从图像中提取解耦后的表情 e、姿态 p 和形态 m。
• 表达转移模块（ETM）：通过学习的编码器将 e 映射到 22 个机器人执行器指令，并使用冻结的解码器（ETM-INV）来优化意向表达与实现表达之间的感知保真度。
• 自监督信号来自将 FLAME 生成的人脸的二维landmark 与真实输入的landmark 对齐，以培训 EDM，且无需标注数据。
• 训练利用合成的 FLAME 数据进行参数到人脸重建的训练，以及真实机器人数据来训练 ETM，并引入表达重建损失以确保感知对齐。
• 机器人 Pengrui：一个拥有 32 个执行器、高自由度的人脸机器人，采用刚性连杆执行机构和硅胶外皮，用于验证真实世界模仿。

实验结果

研究问题

• RQ1 表情是否能有效地从面部形态中解耦，以减少形态引起的干扰进 expression imitation 的影响？
• RQ2 形态无关的表示是否在跨形态的人脸机器人上提升表情保真度？
• RQ3 学得的表情表示能在多样形态下较好地映射到机器人执行器指令以再现自然表情？
• RQ4 与基于地标的基线相比，形态无关方法对真实机器人模仿性能的影响如何？

主要发现

• 形态无关的表征在同一表情下对不同形态的变动性显著降低（相对基线的变异系数下降）。
• EDM（我们的方法）在整体、表情和形态表示的准确性方面明显优于 RG 基线（在表 II 中显示为较低的 MSE/MAE）。
• 完整的 EDM+ETM 流程在执行器指令预测精度方面优于多种基线，包括随机与最近邻变体（表 III）。
• 在 Pengrui 上的真实机器人实验显示，能够忠实再现不同个体、不同形态的广泛人类表情。