[论文解读] Generative Skill Chaining: Long-Horizon Skill Planning with Diffusion Models

Utkarsh A. Mishra, Shangjie Xue+2 more|arXiv (Cornell University)|Oct 13, 2023

Robot Manipulation and Learning被引用 5

一句话总结

生成式技能链（GSC）提出了一种概率框架，通过并行组合学习到的分布，利用以技能为中心的扩散模型生成长时程操作规划，实现了高效、约束感知的规划，具备强大的泛化能力和重规划能力，适用于仿真环境和真实机器人硬件。

ABSTRACT

Long-horizon tasks, usually characterized by complex subtask dependencies, present a significant challenge in manipulation planning. Skill chaining is a practical approach to solving unseen tasks by combining learned skill priors. However, such methods are myopic if sequenced greedily and face scalability issues with search-based planning strategy. To address these challenges, we introduce Generative Skill Chaining~(GSC), a probabilistic framework that learns skill-centric diffusion models and composes their learned distributions to generate long-horizon plans during inference. GSC samples from all skill models in parallel to efficiently solve unseen tasks while enforcing geometric constraints. We evaluate the method on various long-horizon tasks and demonstrate its capability in reasoning about action dependencies, constraint handling, and generalization, along with its ability to replan in the face of perturbations. We show results in simulation and on real robot to validate the efficiency and scalability of GSC, highlighting its potential for advancing long-horizon task planning. More details are available at: https://generative-skill-chaining.github.io/

研究动机与目标

• 解决长时程任务规划中的挑战，其中复杂的子任务依赖关系和庞大的搜索空间阻碍了可扩展性。
• 克服贪婪或基于搜索的技能链方法计算成本高且缺乏泛化能力的局限性。
• 通过技能转移的生成建模，实现对未见任务的高效、可扩展且约束感知的规划。
• 通过闭环规划和场景重建，提升对扰动的鲁棒性，并支持真实世界部署。
• 通过在测试时以组合方式使用可泛化的技能扩散模型，实现技能学习与任务特定规划的解耦。

提出的方法

• 使用专家演示数据，为每个特定技能训练扩散模型，以学习前提条件、技能参数和效果（即状态转移）的联合分布。
• 在推理过程中将训练好的技能扩散模型组合成线性链，以初始状态和目标条件生成完整的技能序列。
• 使用分类器引导在采样过程中强制执行几何和任务约束，确保可行性与目标达成。
• 并行采样所有技能模型，避免贪婪的顺序规划，从而提高效率和候选规划的多样性。
• 通过各技能成功概率的乘积对候选规划进行过滤，以选择最可能的高质量解决方案。
• 在真实机器人硬件上部署闭环系统，利用AprilTag实现从真实到仿真场景的重建，并在状态更新后进行实时重规划。

Figure 1: (Top) Generative Skill Chaining (GSC) aims to solve a long-horizon task for a given sequence of skills by using linear probabilistic chains to parallelly sample from a joint distribution of multiple skill-specific transitions $q_{\pi}(\textbf{s},\textbf{a},\textbf{s}^{\prime})$ learned usi

实验结果

研究问题

• RQ1 生成式技能转移建模是否能够在无需穷举搜索的情况下，实现高效、可扩展且可泛化的长时程规划？
• RQ2 基于扩散的技能模型在长时程任务中，对动作之间复杂依赖关系的处理能力以及对几何约束的强制执行能力如何？
• RQ3 该框架在未见任务骨架上的泛化能力以及通过重规划从环境扰动中恢复的能力有多强？
• RQ4 在成功率、规划效率和约束处理方面，GSC与判别式或贪婪基线方法相比表现如何？
• RQ5 该框架是否能够有效部署于真实世界机器人系统中，支持实时反馈和场景重估？

主要发现

• 通过从组合的技能扩散模型中采样，GSC在长时程操作任务中实现了高成功率，多个候选规划通过成功概率度量进行过滤。
• 通过在真实世界实验中使用重建场景实现闭环重规划，该框架表现出对扰动的鲁棒性。
• 在Franka Panda机器人上的真实世界部署表明，GSC能很好地泛化到新场景，包括未见过的物体布局和任务变化。
• 由于从学习到的分布中并行采样，该方法在可扩展性和效率方面优于贪婪或基于搜索的基线方法。
• 分类器引导有效实现了约束处理，例如确保物体正确放置和工具交互的几何结构。
• 该框架与任何骨架规划方法兼容，可通过技能发现或预训练模型扩展，以提升更广泛的应用潜力。

Figure 2: (a) A linear chain graph for a long sequence of transitions and (b) adding an additional constraint node.