[论文解读] Avatar-independent scripting for real-time gesture animation

Richard Kennaway|arXiv (Cornell University)|Feb 10, 2015

Human Motion and Animation参考文献 29被引用 9

一句话总结

本文提出 SiGML，一种基于 HamNoSys 符号系统的新型、与化身无关的脚本语言，用于手语的实时手势动画。该语言能够从高层级的姿态与动作描述中自动生成自然、与化身无关的运动数据，在计算开销极小的情况下实现实时性能，并显著减少数据量，相较于运动片段有明显优势。

ABSTRACT

When animation of a humanoid figure is to be generated at run-time, instead of by replaying pre-composed motion clips, some method is required of specifying the avatar's movements in a form from which the required motion data can be automatically generated. This form must be of a more abstract nature than raw motion data: ideally, it should be independent of the particular avatar's proportions, and both writable by hand and suitable for automatic generation from higher-level descriptions of the required actions. We describe here the development and implementation of such a scripting language for the particular area of sign languages of the deaf, called SiGML (Signing Gesture Markup Language), based on the existing HamNoSys notation for sign languages. We conclude by suggesting how this work may be extended to more general animation for interactive virtual reality applications.

研究动机与目标

• 开发一种脚本语言，用于生成实时、与化身无关的手语手势动画，以克服预录运动片段的局限性。
• 确保动画自然且对聋人用户可读，同时独立于化身的比例和关节配置。
• 通过将手势表示为紧凑的高层级脚本而非原始运动数据，减少存储和传输成本。
• 利用逆向运动学和几何约束，自动实时生成基于抽象手势描述的运动数据。
• 将该方法扩展至手语以外的应用，涵盖互动式虚拟现实和具身对话代理等更广泛领域。

提出的方法

• 该方法采用基于 HamNoSys 的修订版手势符号系统，聚焦于意图驱动的几何特征（如指向方向），而非绝对的手部朝向。
• 通过身体部位位置与朝向的相对约束来定义姿态，从而在不同尺寸的化身间实现一致的动画效果。
• 系统通过逆向运动学将 SiGML 脚本转换为运动数据，逐帧实时计算骨骼旋转与面部形变。
• 在标准硬件上，每帧运动数据的生成时间低于 1/15 毫秒，确保实时性能。
• 化身需要额外的表面点数据（如命名的地标点），以将抽象手势映射到特定骨骼配置。
• 该方法将手势语义与化身几何分离，使同一脚本可驱动多种化身，保持语义一致且运动自然。

实验结果

研究问题

• RQ1 能否设计一种与化身比例无关的手势脚本语言，同时保持手势语义？
• RQ2 如何将高层级手势描述自动转换为任何类人人形化身的逼真、实时运动数据？
• RQ3 手势的哪些几何特征具有语义重要性，以及如何在符号系统中捕捉这些特征？
• RQ4 通过使用紧凑脚本而非运动片段，能否显著降低手势动画的存储与传输开销？
• RQ5 逆向运动学与相对约束在多大程度上能确保不同化身间运动的自然性与可读性？

主要发现

• SiGML 系统成功实现了低计算成本的实时、与化身无关的手势动画，每帧生成时间低于 1/15 毫秒。
• 由 SiGML 脚本生成的运动数据相比等效的运动片段显著更紧凑，大幅降低了存储与带宽需求。
• 聋人用户认为动画既清晰又自然，验证了该方法在互动应用中的实际可用性。
• 通过聚焦于意图（如指向方向）而非绝对几何参数，该方法在不同比例的化身间实现了手势语义的一致解释。
• 该系统表明，基于意图的手势符号系统结合逆向运动学，可在无需预计算运动片段的情况下实现自然且动态的动画效果。
• 该方法可扩展至手语以外的应用，适用于实时互动式虚拟现实与具身对话代理等更广泛领域。