[论文解读] A Generalized Robotic Handwriting Learning System based on Dynamic Movement Primitives (DMPs)

Qian Luo, Jing Wu+1 more|arXiv (Cornell University)|Dec 7, 2020

Robot Manipulation and Learning参考文献 13被引用 7

一句话总结

该论文提出DMP*，一种基于动态运动基元（DMPs）的广义机器人书法学习系统，通过优化高斯核形状与数量，提升了轨迹模仿精度与风格泛化能力。DMP*通过优化高斯核形状与数量，使机器人能够从人类书法示范中稳健学习，实现对已有字母的复现以及在多笔画轨迹中生成具有统一书写风格的新字母，实验基于物理机器人平台完成。

ABSTRACT

Learning from demonstration (LfD) is a powerful learning method to enable a robot to infer how to perform a task given one or more human demonstrations of the desired task. By learning from end-user demonstration rather than requiring that a domain expert manually programming each skill, robots can more readily be applied to a wider range of real-world applications. Writing robots, as one application of LfD, has become a challenging research topic due to the complexity of human handwriting trajectories. In this paper, we introduce a generalized handwriting-learning system for a physical robot to learn from examples of humans' handwriting to draw alphanumeric characters. Our robotic system is able to rewrite letters imitating the way human demonstrators write and create new letters in a similar writing style. For this system, we develop an augmented dynamic movement primitive (DMP) algorithm, DMP*, which strengthens the robustness and generalization ability of our robotic system.

研究动机与目标

• 开发一种无需专家编程即可从人类示范中学习的广义机器人书法系统。
• 解决学习任意形状、多笔画书法轨迹（含可变缩放、起始/结束位置与书写风格）的挑战。
• 使机器人不仅能复现示范字母，还能以相同书写风格生成新字母。
• 提升DMPs在真实机器人书法应用中的鲁棒性与泛化能力。

提出的方法

• 系统使用动作捕捉系统记录人类书法示范的三维轨迹，精度不低于10⁻³米。
• 应用改进的DMP算法——DMP*，通过优化强制函数中高斯核的形状与数量，提升轨迹拟合性能。
• 基于z轴速度与位置阈值的差分法实现笔画分割，以检测笔触抬起动作。
• DMP*算法将单个笔画作为独立DMP进行学习，支持模块化技能学习与重组。
• 轨迹通过基于ROS的控制流水线处理，并在配备标记笔的Fetch机器人上执行。
• 通过重新组合学习到的DMPs并调整终点位置，系统实现风格迁移，同时保持书写风格一致。

实验结果

研究问题

• RQ1 机器人系统如何从少量人类书法示范中泛化，以复现具有相似书写风格的新字母？
• RQ2 为提升复杂多笔画书法轨迹学习的鲁棒性与准确性，对标准DMPs需进行哪些修改？
• RQ3 DMP强制函数中核的形状与数量如何影响学习性能与泛化能力？
• RQ4 基于DMP的系统能否可靠地从连续书法动作中分割并学习单个笔画？
• RQ5 在仅使用少量示范的情况下，系统在不同字母间实现书写风格迁移的范围有多大？

主要发现

• 与标准DMPs相比，DMP*显著提升了轨迹复现精度，实现了对' a'、'b'、'e'和'm'等示范字母的近乎完全一致的重建。
• 系统成功利用z轴速度与位置阈值，将多笔画字母（如'D'）分割为独立笔画。
• 通过重新组合学习到的DMPs并调整终点位置，机器人成功生成了新字母'P'，其书写风格与原始'D'示范保持一致。
• 系统在轨迹生成过程中即使改变终点位置，仍能保持书写风格一致，表现出良好鲁棒性。
• 从动作捕捉数据采集到真实机器人执行的完整流水线在Fetch机器人上成功实现，验证了系统端到端的功能性。