[论文解读] Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile Manipulation

Mayank Mittal, David Hoeller+3 more|arXiv (Cornell University)|Mar 18, 2021

Robotic Path Planning Algorithms被引用 11

一句话总结

本文提出了一种用于在未知、动态环境中对大型铰接式物体进行移动操作的两阶段规划框架。它使用以物体为中心的规划器，基于RGB-D数据生成操作动作；并采用以智能体为中心的模型预测控制（MPC）规划器，确保安全、动态的全身运动执行，在仿真中相比基于IK的方法成功率提高134%，执行速度加快26.5%，并在腿式移动操作机器人上完成了真实世界验证。

ABSTRACT

A kitchen assistant needs to operate human-scale objects, such as cabinets and ovens, in unmapped environments with dynamic obstacles. Autonomous interactions in such environments require integrating dexterous manipulation and fluid mobility. While mobile manipulators in different form factors provide an extended workspace, their real-world adoption has been limited. Executing a high-level task for general objects requires a perceptual understanding of the object as well as adaptive whole-body control among dynamic obstacles. In this paper, we propose a two-stage architecture for autonomous interaction with large articulated objects in unknown environments. The first stage, object-centric planner, only focuses on the object to provide an action-conditional sequence of states for manipulation using RGB-D data. The second stage, agent-centric planner, formulates the whole-body motion control as an optimal control problem that ensures safe tracking of the generated plan, even in scenes with moving obstacles. We show that the proposed pipeline can handle complex static and dynamic kitchen settings for both wheel-based and legged mobile manipulators. Compared to other agent-centric planners, our proposed planner achieves a higher success rate and a lower execution time. We also perform hardware tests on a legged mobile manipulator to interact with various articulated objects in a kitchen. For additional material, please check: www.pair.toronto.edu/articulated-mm/.

研究动机与目标

• 在结构不良、未知的环境中实现对大型铰接式家用物体（如橱柜、烤箱）的自主交互。
• 解决在物理约束和场景不确定性下，实时集成灵巧操作与移动底座控制的挑战。
• 开发一种以智能体为中心的规划器，确保以物体为中心的操作计划能够安全、可行且高效地执行。
• 对不同的以智能体为中心的规划器——基于采样的、基于IK的和基于MPC的——进行基准测试与比较，用于全身移动操作。
• 在高保真仿真和真实世界硬件实验中验证系统性能，涵盖轮式和腿式移动操作机器人平台。

提出的方法

• 以物体为中心的规划器利用RGB-D感知生成动作条件化的操作序列，仅关注物体的运动学特性和交互点。
• 以智能体为中心的规划器将全身运动控制建模为一个带约束的最优控制问题，采用模型预测控制（MPC）方法，其目标函数结合了任务目标和约束违反程度。
• MPC规划器使用在线更新的环境符号距离函数（ESDF）和全局一致的占用图，实现实时碰撞避免。
• 对FIESTA进行改进，以保持机器人中心的SDF和环境一致性，实现在运动过程中对动态障碍物的实时反应性避障。
• 通过统一的全身动力学模型整合基座与机械臂的运动，确保运动学可行性与关节限位合规性。
• 基于序列二次规划（SQP）的收益函数用于评估并从多个候选交互计划中选择最优方案，综合考虑环境成本与本体成本。

实验结果

研究问题

• RQ1 移动操作机器人如何在存在移动障碍物的未知、动态环境中安全且高效地执行以物体为中心的操作计划？
• RQ2 基于MPC、基于IK和基于采样的以智能体为中心的规划器在铰接式物体交互中各自具有哪些相对优势？
• RQ3 基于MPC的反应式以智能体为中心的规划器是否能够在复杂、杂乱的厨房场景中有效应对动态障碍物，同时保持高成功率和低执行时间？
• RQ4 以智能体为中心的规划器如何基于安全性与可行性，在多个候选交互选项（如不同抓取位置）之间进行决策？
• RQ5 所提出的两阶段框架在不同移动操作机器人平台（包括腿式系统）上的可扩展性如何？

主要发现

• 基于MPC的以智能体为中心的规划器在模拟环境中对铰接式厨房物体的操作中，成功率相比基于IK的规划器提高了134%。
• 基于MPC的方法相比基于IK的方法将执行时间减少了26.5%，证明了其更高的效率。
• 在腿式移动操作机器人上的硬件实验成功展示了在动态厨房环境中与各类铰接式物体（包括抽屉和烤箱）的真实世界交互能力。
• 反应式MPC规划器通过调整基座运动并必要时增加机械臂使用，有效避开了动态障碍物；当障碍物移开后，系统能自动退回到更安全的构型。
• 以智能体为中心规划器中的收益函数成功优先选择了更安全的交互选项，靠近障碍物的计划因更高的碰撞规避惩罚而获得更低的评分。
• 该系统在处理物体几何形状、放置位置和场景杂乱程度的差异方面表现出鲁棒性，证实了该框架在真实世界非结构化环境中的适应能力。