[论文解读] Dexterous Manipulation Primitives for the Real Robot Challenge

Claire Chen, Krishnan Srinivasan+8 more|arXiv (Cornell University)|Jan 27, 2021

Robot Manipulation and Learning参考文献 4被引用 4

一句话总结

本文提出一种基于模型的方法，采用三种灵巧操作原语——抓取、翻转和重新定位——来控制TriFinger机器人在Real Robot Challenge中操作一个细长长方体。通过将轨迹优化与状态机结合以实现原语序列化，该方法在所有任务等级中均表现出稳健性能，在真实机器人上也取得了稳定结果，尽管存在位姿估计噪声和初始状态变化。

ABSTRACT

This report describes our approach for Phase 3 of the Real Robot Challenge. To solve cuboid manipulation tasks of varying difficulty, we decompose each task into the following primitives: moving the fingers to the cuboid to grasp it, turning it on the table to minimize orientation error, and re-positioning it to the goal position. We use model-based trajectory optimization and control to plan and execute these primitives. These grasping, turning, and re-positioning primitives are sequenced with a state-machine that determines which primitive to execute given the current object state and goal. Our method shows robust performance over multiple runs with randomized initial and goal positions. With this approach, our team placed second in the challenge, under the anonymous name "sombertortoise" on the leaderboard. Example runs of our method solving each of the four levels can be seen in this video (https://www.youtube.com/watch?v=I65Kwu9PGmg&list=PLt9QxrtaftrHGXcp4Oh8-s_OnQnBnLtei&index=1).

研究动机与目标

• 解决在真实机器人环境中对一个细长2cm×2cm×8cm长方体进行灵巧操作的挑战。
• 开发一种稳健且可泛化的策略，以应对操作任务中初始位姿和目标位姿的变化。
• 通过基于模型的规划与反馈控制，实现长方体的高精度重新定位与姿态控制。
• 通过使用优化的、具备物理感知的轨迹，减少对基于学习策略的依赖，从而提高真实世界中的可靠性。
• 在存在视觉位姿估计噪声和初始状态变化的情况下，仍能实现多轮运行的一致性能。

提出的方法

• 将操作任务分解为三种核心原语：抓取（指尖运动至接触点）、翻转（在桌面上旋转长方体）和重新定位（抓起并移动至目标位姿）。
• 使用基于模型的轨迹优化，计算在已知动力学、运动学和接触约束下的最优指尖轨迹。
• 应用简化的阻抗控制器，以高保真度跟踪预定的指尖轨迹。
• 实现一个状态机，根据当前物体位姿和目标要求选择下一个原语，优先在1–3级任务中使用重新定位，4级任务中增加翻转原语。
• 预先定义三指捏握在长方体短轴方向上的接触点，根据手指与表面的接近程度分配面，以确保无碰撞可达。
• 在4级任务中，使用复合奖励函数，结合位置误差与偏航角误差，引导轨迹优化朝向误差最小的目标位姿。

实验结果

研究问题

• RQ1 基于模型的、原语驱动的方法是否能在不同初始和目标位姿下，实现对细长长方体在真实机器人上的稳健且可重复的操作？
• RQ2 在真实世界动力学和传感器噪声下，结合简化阻抗控制的轨迹优化在操作中的有效性如何？
• RQ3 具有预定义原语的状态机在复杂灵巧操作任务中，是否能优于端到端学习方法？
• RQ4 位姿估计噪声对基于模型的操作系统性能有何影响？是否可通过反馈或控制设计提升鲁棒性？
• RQ5 结合学习策略与最优控制的混合控制策略，是否能减少重新定位任务中的稳态误差？

主要发现

• 该方法在Real Robot Challenge Phase 3中获得第二名，证明了在多轮运行中对随机初始和目标位置的高可靠性。
• 每项目标下三轮运行的中位数得分范围为-3,455（第1级）至-49,773（第4级），得分越低表示误差越大，表明在位姿变化下仍保持一致性能。
• 该方法在真实机器人上成功执行了所有三种原语——抓取、翻转和重新定位，其中翻转原语对第4级任务的成功至关重要。
• 尽管模型假设准确，来自视觉跟踪器的位姿估计噪声仍是性能波动的主要来源，尤其在第4级任务中，初始朝向变化广泛。
• 在重新定位中观察到稳态误差，表明通过反馈整合或学习校正可进一步提升精度。
• 在仿真中测试了基于学习的Push-Turn策略，但在最终真实机器人提交中因方差更高而被弃用，证实了最优控制器在真实部署中的优越性。