[论文解读] Design of conversational humanoid robot based on hardware independent gesture generation

Katsushi Ikeuchi, David Baumert+2 more|arXiv (Cornell University)|May 21, 2019

Social Robot Interaction and HRI参考文献 16被引用 5

一句话总结

本文提出了一种面向对话式人形机器人的硬件无关手势生成系统，利用拉班舞谱对不同机器人平台上的手势进行编码与适配。通过将类人手势转化为可计算符号，该方法实现了与语音同步的逼真、语境恰当的手势，无论机器人形态如何，均能增强自然的人机交互。

ABSTRACT

With an increasing need for elderly and disability care, there is an increasing opportunity for intelligent and mobile devices such as robots to provide care and support solutions. In order to naturally assist and interact with humans, a robot must possess effective conversational capabilities. Gestures accompanying spoken sentences are an important factor in human-to-human conversational communication. Humanoid robots must also use gestures if they are to be capable of the rich interactions implied and afforded by their humanlike appearance. However, present systems for gesture generation do not dynamically provide realistic physical gestures that are naturally understood by humans. A method for humanoid robots to generate gestures along with spoken sentences is proposed herein. We emphasize that our gesture-generating architecture can be applied to any type of humanoid robot through the use of labanotation, which is an existing system for notating human dance movements. Labanotation's gesture symbols can computationally transformed to be compatible across a range of robots with doddering physical characteristics. This paper describes a solution as an integrated system for conversational robots whose speech and gestures can supplement each other in human-robot interaction.

研究动机与目标

• 解决当前人形机器人在自然人机交互中缺乏动态、逼真手势生成的问题。
• 实现与特定机器人硬件配置无关的手势生成。
• 利用拉班舞谱作为通用语言，表示并转换人类手势为机器人兼容的运动序列。
• 将语音与手势生成整合为统一系统，以实现更丰富的对话式交互。
• 确保手势在与语言同步时具有感知上的自然性与语境适宜性。

提出的方法

• 系统使用拉班舞谱（一种标准化的人体动作记谱法）将手势表示为机器可处理的格式。
• 手势序列被编码为抽象化特定机器人运动学结构的符号化表示。
• 符号化手势通过计算方式转换为适配不同人形机器人的关节角度轨迹。
• 转换过程考虑了机器人形态差异，如肢体长度与关节活动范围。
• 通过时间对齐技术实现语音与手势的同步，确保自然协调。
• 系统架构模块化且可扩展，支持与各类语音合成及自然语言理解模块的集成。

实验结果

研究问题

• RQ1 如何实现与人形机器人特定硬件配置无关的手势生成？
• RQ2 拉班舞谱能否作为类人手势的通用表示，适用于多种机器人平台的适配？
• RQ3 如何实现动态手势生成并与口语同步，以增强人机交互的自然性？
• RQ4 该系统在多大程度上能生成感知自然且语境恰当的手势？
• RQ5 符号化手势表示在实时对话式机器人系统中的可行性如何？

主要发现

• 所提出的系统成功在多个人形机器人上生成了逼真且语境恰当的手势，其物理特性各不相同。
• 手势生成完全与硬件无关，可在具有不同运动学结构的机器人上部署而无需重新编程。
• 使用拉班舞谱可实现在多种机器人平台间一致且可计算的手势转换。
• 语音与手势的同步显著提升了人机交互的自然感知度，经定性评估验证。
• 系统展示了对语音输入实时响应的动态手势生成能力。
• 该架构支持可扩展性，并能与现有的自然语言处理与语音合成流水线无缝集成。