[论文解读] Learning-from-Observation System Considering Hardware-Level Reusability

Jun Takamatsu, Kazuhiro Sasabuchi+3 more|arXiv (Cornell University)|Dec 19, 2022

Robotic Path Planning Algorithms被引用 4

一句话总结

本文提出了一种从观察中学习的系统，通过以与机器人无关的形式表示任务，并将手部特定技能与机器人本体控制解耦，实现了硬件级别的可重用性。通过使用通用的逆运动学求解器和仅专注于机器人手部的技能库，相同的任务序列和参数在两种不同的机器人——Nextage 和 Fetch 上成功执行，展示了在不同硬件平台上具有极高的可重用性，且仅需极少的重新配置。

ABSTRACT

Robot developers develop various types of robots for satisfying users' various demands. Users' demands are related to their backgrounds and robots suitable for users may vary. If a certain developer would offer a robot that is different from the usual to a user, the robot-specific software has to be changed. On the other hand, robot-software developers would like to reuse their developed software as much as possible to reduce their efforts. We propose the system design considering hardware-level reusability. For this purpose, we begin with the learning-from-observation framework. This framework represents a target task in robot-agnostic representation, and thus the represented task description can be shared with various robots. When executing the task, it is necessary to convert the robot-agnostic description into commands of a target robot. To increase the reusability, first, we implement the skill library, robot motion primitives, only considering a robot hand and we regarded that a robot was just a carrier to move the hand on the target trajectory. The skill library is reusable if we would like to the same robot hand. Second, we employ the generic IK solver to quickly swap a robot. We verify the hardware-level reusability by applying two task descriptions to two different robots, Nextage and Fetch.

研究动机与目标

• 解决机器人领域中定制机器人开发与软件可重用性之间的冲突。
• 实现可跨不同机器人硬件平台重用的与机器人无关的任务表示。
• 通过隔离手部特定技能并解耦本体运动控制，减少为新机器人适配软件所需的工作量。
• 通过在 Nextage 和 Fetch 机器人上跨平台执行，验证硬件级别的可重用性。

提出的方法

• 将任务表示为符号序列（例如，抓取、拾取、放置）的格式，以与机器人无关的形式从人类示范中推导得出。
• 实现一个仅专注于机器人手部的技能库，使用强化学习训练抓取和轨迹跟踪行为。
• 使用通用的逆运动学求解器和身体角色划分，抽象机器人本体运动控制，实现轻松的机器人切换。
• 通过在超二次曲面物体模型上训练的卷积神经网络（CNN）和基于 RANSAC 的分割方法，从深度图像中估计技能参数（例如，抓取位姿）。
• 通过手指关节的力反馈检测碰撞事件，以触发任务转换，例如终止轨迹生成。
• 通过模块化转换器将与机器人无关的任务序列映射为特定目标机器人的命令，处理硬件特定的映射关系。

实验结果

研究问题

• RQ1 从人类示范中学到的任务表示是否可以在不同机器人硬件平台上重用？
• RQ2 当仅机器人手部在不同平台上保持一致时，技能库的共享程度如何？
• RQ3 通用逆运动学求解器在无需重新实现运动控制的情况下，多大程度上能够实现快速机器人切换？
• RQ4 是否可以通过示范有效教授碰撞避让，并利用共享的轨迹参数在不同机器人之间泛化？

主要发现

• 相同的任务序列——如“将物体放置在托盘上”和“置物架演示”——在 Nextage 和 Fetch 机器人上均使用相同的技能库和参数成功执行。
• 通过在具有不同运动学结构和物理形态的机器人之间重用技能库，系统实现了硬件级别的可重用性，前提是手部（Shadow Hand Lite）保持一致。
• 使用通用 IK 求解器使得机器人切换无缝进行，且对控制栈的修改极小。
• 来自手部关节的力反馈成功检测到碰撞事件，实现了跨机器人的一致任务转换逻辑。
• 基于 CNN 的深度图像参数估计实现了无需机器人特定标定的精确抓取位姿预测。
• 系统对轻微的环境差异表现出鲁棒性，传感器反馈在执行过程中实现了自适应调整。