[论文解读] Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks

Aditya Gudimella, Ross Story+5 more|arXiv (Cornell University)|Sep 20, 2017

Reinforcement Learning in Robotics参考文献 19被引用 15

一句话总结

本文提出概念网络强化学习（CNRL），一种分层深度强化学习框架，将复杂的灵巧操作任务分解为可重用、模块化的概念（如抓取、举起、堆叠），每个概念均使用简化的奖励函数独立训练。通过将这些概念组织成具有可学习选择器的树状结构网络，CNRL 在 MuJoCo 的机器人棱柱堆叠任务中，相较于最先进方法将环境交互次数减少了 45 倍。

ABSTRACT

Deep reinforcement learning yields great results for a large array of problems, but models are generally retrained anew for each new problem to be solved. Prior learning and knowledge are difficult to incorporate when training new models, requiring increasingly longer training as problems become more complex. This is especially problematic for problems with sparse rewards. We provide a solution to these problems by introducing Concept Network Reinforcement Learning (CNRL), a framework which allows us to decompose problems using a multi-level hierarchy. Concepts in a concept network are reusable, and flexible enough to encapsulate feature extractors, skills, or other concept networks. With this hierarchical learning approach, deep reinforcement learning can be used to solve complex tasks in a modular way, through problem decomposition. We demonstrate the strength of CNRL by training a model to grasp a rectangular prism and precisely stack it on top of a cube using a gripper on a Kinova JACO arm, simulated in MuJoCo. Our experiments show that our use of hierarchy results in a 45x reduction in environment interactions compared to the state-of-the-art on this task.

研究动机与目标

• 解决高维、稀疏奖励的机器人操作任务中深度强化学习的样本效率低下问题。
• 通过将问题分解为可重用、独立训练的子概念，克服单一策略训练的局限性。
• 通过支持预训练技能与经典控制器的即插即用集成，实现工业机器人中策略的快速部署与适应。
• 通过为每个概念定义有效区域并支持可追溯的决策路径，提升训练稳定性、可解释性与安全性。
• 实现在无需重新训练的情况下，高效迁移和复用子任务解决方案于不同任务之间。

提出的方法

• 引入概念网络作为树状层次结构，叶节点表示子概念（如抓取、举起、堆叠），内部节点为选择器，根据状态选择执行哪个子概念。
• 允许各概念使用针对其子任务量身定制的聚焦奖励函数独立训练，从而降低探索复杂度。
• 通过将每个概念视为黑箱组件，支持跨不同状态空间与训练算法的可重用性。
• 支持状态空间变换与扩展，以对齐在不同表示上训练的子概念，实现在无需重新训练的情况下进行模块化组合。
• 实施基于状态的执行限制，确保概念仅在其训练的有效区域范围内被激活，从而提升安全性和可靠性。
• 将学习到的概念与经典控制器（如逆运动学）结合，以增强高精度操作任务中的精度与鲁棒性。

实验结果

研究问题

• RQ1 将复杂操作任务分层分解为可重用、独立训练的子概念，是否能显著降低深度强化学习中的样本复杂度？
• RQ2 预训练模型或经典控制器在多大程度上可无缝集成到无需重新训练的层次化策略框架中？
• RQ3 与端到端训练相比，使用具有选择性策略路由的概念网络在提升训练效率与收敛速度方面表现如何？
• RQ4 分层结构是否可通过激活子概念的可追溯决策路径，提升策略的可解释性与部署安全性？
• RQ5 该框架在需要精确控制与协调的高维、稀疏奖励机器人操作任务中，解决能力如何？

主要发现

• CNRL 在 MuJoCo 中成功使用 Kinova JACO 机械臂完成矩形棱柱堆叠任务，验证了其在复杂高精度操作任务中的可行性。
• 与 Popov 等人（2017）提出的最先进方法相比，该框架将所需环境交互次数减少了 45 倍，显著提升了数据效率。
• 模型在 16,000 至 25,000 次环境样本内收敛至有效策略，表明因聚焦子任务学习而实现了快速且稳定的训练。
• 每个子概念（如 Orient、Lift、Stack）均基于状态空间的受限子集，使用简化的奖励函数进行训练，从而实现高效探索。
• 通过使用状态空间变换与有效区域约束，实现了在不同表示上训练的子概念的无缝集成，无需重新训练。
• 分层结构实现了可解释的行为：决策可追溯至特定激活的子概念，增强了系统可解释性与可信度。