[论文解读] Efficient Skill Acquisition for Complex Manipulation Tasks in Obstructed Environments

Jun Yamada, Jack Collins+1 more|arXiv (Cornell University)|Mar 6, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种模块化框架，结合了以对象为中心的生成模型（OCGM）用于少样本目标识别、运动规划（MP）用于避障导航，以及带有技能迁移网络的强化学习（RL）策略，以实现在障碍物环境中的复杂操作。该系统仅通过少量示范即在真实工业插入任务中实现了86.7%–96.7%的成功率，显著优于最先进基线方法。

ABSTRACT

Data efficiency in robotic skill acquisition is crucial for operating robots in varied small-batch assembly settings. To operate in such environments, robots must have robust obstacle avoidance and versatile goal conditioning acquired from only a few simple demonstrations. Existing approaches, however, fall short of these requirements. Deep reinforcement learning (RL) enables a robot to learn complex manipulation tasks but is often limited to small task spaces in the real world due to sample inefficiency and safety concerns. Motion planning (MP) can generate collision-free paths in obstructed environments, but cannot solve complex manipulation tasks and requires goal states often specified by a user or object-specific pose estimator. In this work, we propose a system for efficient skill acquisition that leverages an object-centric generative model (OCGM) for versatile goal identification to specify a goal for MP combined with RL to solve complex manipulation tasks in obstructed environments. Specifically, OCGM enables one-shot target object identification and re-identification in new scenes, allowing MP to guide the robot to the target object while avoiding obstacles. This is combined with a skill transition network, which bridges the gap between terminal states of MP and feasible start states of a sample-efficient RL policy. The experiments demonstrate that our OCGM-based one-shot goal identification provides competitive accuracy to other baseline approaches and that our modular framework outperforms competitive baselines, including a state-of-the-art RL algorithm, by a significant margin for complex manipulation tasks in obstructed environments.

研究动机与目标

• 解决在具有任意障碍物的小批量制造环境中数据高效技能获取的挑战。
• 克服运动规划（MP）需要显式目标状态以及强化学习（RL）在真实环境中面临样本效率低下和安全问题的局限性。
• 通过以对象为中心的生成模型（OCGM）实现在新场景中无需微调即可完成单次示范的目标物体识别与再识别。
• 通过技能迁移网络弥合运动规划的终止状态与强化学习策略可行起始状态之间的差距。
• 在复杂操作任务中相比最先进基线方法（包括样本高效RL和启发式方法）展现出更优性能。

提出的方法

• 系统使用预训练的以对象为中心的生成模型（OCGM）从单次人类示范中提取并重新识别目标物体，实现单次示范的目标指定。
• OCGM通过匹配其以对象为中心的表征，在新场景中推断目标物体的3D位置，为运动规划提供目标位姿。
• 运动规划利用OCGM的输出作为目标，生成无碰撞轨迹以到达目标物体，同时避开障碍物。
• 引入技能迁移网络，将运动规划的终止状态映射为强化学习策略的可行起始状态，从而减少策略启动时的失败。
• 通过仅使用少量示范引导探索，从稀疏奖励中训练样本高效的强化学习策略，避免密集奖励工程。
• 模块化流程整合了基于OCGM的目标识别、用于安全导航的运动规划，以及带过渡网络的强化学习，实现真实障碍环境中的稳健性能。

Figure 1 : Task setup. We solve complex manipulation tasks within the entire operational space of a robot by leveraging an OCGM for versatile and efficient goal acquisition paired with MP and RL. Note that obstacles and a socket are randomly placed on the table.

实验结果

研究问题

• RQ1 以对象为中心的生成模型（OCGM）是否能够在无需特定对象微调的情况下，实现新场景中准确且通用的单次目标物体识别与再识别？
• RQ2 与姿态估计基线方法相比，所提出的基于OCGM的目标指定方法在准确性和鲁棒性方面表现如何？
• RQ3 将运动规划与强化学习结合，并引入技能迁移网络，是否能显著提升在障碍物环境中复杂操作任务的成功率？
• RQ4 技能迁移网络在多大程度上减少了因运动规划与强化学习策略执行初始状态不匹配而导致的失败？
• RQ5 所提出的模块化框架是否能在真实工业操作任务中超越最先进RL算法和替代的MP+RL基线方法？

主要发现

• 基于OCGM的单次目标识别方法在新场景中目标物体再识别方面，准确率与其它基线方法相当。
• 所提系统（带技能迁移网络的MP+RL）在VGA任务中成功率达86.7%，RJ45任务中为83.3%，E-model任务中为93.3%，USB-A任务中为96.7%，显著优于所有基线方法。
• 不使用技能迁移网络的方法（MP+RL w/o skill transition）成功率为73.3%–80.0%，表明该迁移网络对高性能至关重要。
• SAC基线在所有任务中完全失败（0.0%成功率），凸显了在存在障碍物的真实强化学习中样本效率的挑战。
• 主要失败模式是OCGM对目标物体的误识别，表明通过扩展训练数据可进一步提升模型鲁棒性。
• 在所有任务中，该方法均优于MP+示范回放（3.3%–26.7%成功率）、MP+行为克隆（16.7%–26.7%）和MP+启发式方法（10.0%–43.3%），证明了其在真实世界适用性上的优越性。

Figure 2 : Our framework architecture. (a) We leverage an OCGM to re-identify a target object such that its object-centric representation matches one extracted from a single demonstration. The goal state is specified in the robot’s reference frame using an external RGB-D camera with calibrated extri