[论文解读] Modeling Joint Improvisation between Human and Virtual Players in the Mirror Game

Chao Zhai, Francesco Alderisio+3 more|arXiv (Cornell University)|Dec 17, 2015

Action Observation and Synchronization参考文献 26被引用 4

一句话总结

本文提出了一种新颖的最优控制模型，通过整合个体运动特征和实时反馈，捕捉镜像游戏中双方即兴协作的动态。该模型使虚拟玩家能够与人类生成同步、共同创造的运动，经实验和收敛性分析验证，标志着首个实现即兴协作的实时、模型驱动虚拟化身。

ABSTRACT

Joint improvisation is observed to emerge spontaneously among humans performing joint action tasks, and has been associated with high levels of movement synchrony and enhanced sense of social bonding. Exploring the underlying cognitive and neural mechanisms behind the emergence of joint improvisation is an open research challenge. This paper investigates the emergence of jointly improvised movements between two participants in the mirror game, a paradigmatic joint task example. A theoretical model based on observations and analysis of experimental data is proposed to capture the main features of their interaction. A set of experiments is carried out to test and validate the model ability to reproduce the experimental observations. Then, the model is used to drive a computer avatar able to improvise joint motion with a human participant in real time. Finally, a convergence analysis of the proposed model is carried out to confirm its ability to reproduce the emergence of joint movement between the participants.

研究动机与目标

• 开发一个数学框架，解释人类-人类及人类-虚拟玩家互动中镜像游戏中联合即兴创作的产生机制。
• 从人类运动数据中建模个体运动特征，以个性化虚拟玩家行为。
• 设计一个实时虚拟玩家，生成与人类参与者新颖、协调的运动，而不仅仅是模仿。
• 通过受控实验验证模型再现观测到的同步与即兴创作的能力。
• 数学分析耦合系统的收敛性与稳定性，以确保可靠的实时性能。

提出的方法

• 该模型使用最优控制理论，最小化一个权衡位置跟踪、速度匹配与个体运动特征保真度的代价函数。
• 代价函数包含位置误差、速度偏离参考特征的偏差以及控制努力的项，权重可调：θp,i, θσ,i, θv,i。
• 基于哈密顿量的最优控制公式通过庞特里亚金最小值原理推导，得出开环控制输入与状态-协态动力学。
• 系统作为两点边值问题求解，协态变量的终端条件由每一步时间的位置误差导出。
• 虚拟玩家的运动通过Leap Motion控制器采样的真人指尖位置实时更新。
• 在两种设置下验证模型：高精度实验室内设置与低成本Leap Motion设置。

实验结果

研究问题

• RQ1 如何通过数学模型捕捉人类-人类镜像游戏中联合即兴创作的产生？
• RQ2 基于模型的虚拟玩家能否实时生成与人类同步、共同创造的运动，而非仅模仿？
• RQ3 个体运动特征（由速度频率分布定义）在多大程度上可被编码并再现于虚拟玩家中？
• RQ4 哪些控制参数可实现人类与虚拟玩家之间稳定、收敛且具有社交参与感的联合运动？
• RQ5 基于模型的虚拟玩家能否再现人类-人类联合即兴创作中观测到的运动学特征与同步模式？

主要发现

• 所提出的模型成功再现了镜像游戏中人类与虚拟玩家之间同步、共同创造的运动，展示了二者之间的联合即兴创作。
• 基于模型的虚拟玩家生成新颖、非重复的运动模式，而非人类运动的直接复刻，表明真正意义上的即兴创作。
• 实验验证表明，虚拟玩家与人类参与者实现了高度的运动同步，位置与速度轨迹与人类行为高度匹配。
• 收敛性分析确认虚拟玩家之间的位置误差有界，确保了稳定可靠的实时交互。
• 调节参数θp,i, θσ,i, θv,i可控制模仿、个体性与协调性之间的平衡，实现灵活的交互风格。
• 模型成功从单独的人类运动数据中编码并再现了个体运动特征，实现了个性化虚拟玩家行为。