[论文解读] Composing Task-Agnostic Policies with Deep Reinforcement Learning

Ahmed H. Qureshi, Jacob J. Johnson+4 more|arXiv (Cornell University)|May 25, 2019

Reinforcement Learning in Robotics参考文献 35被引用 11

一句话总结

本文提出了一种深度强化学习方法，通过将任务无关的原始策略组合成复合策略，以解决未见过的任务。该模型采用双向RNN编码器和基于注意力的解码器，能够动态地按顺序或并行地组合技能，在稀疏奖励、复杂的控制环境中实现了高数据效率，并优于标准强化学习和分层强化学习方法。

ABSTRACT

The composition of elementary behaviors to solve challenging transfer learning problems is one of the key elements in building intelligent machines. To date, there has been plenty of work on learning task-specific policies or skills but almost no focus on composing necessary, task-agnostic skills to find a solution to new problems. In this paper, we propose a novel deep reinforcement learning-based skill transfer and composition method that takes the agent's primitive policies to solve unseen tasks. We evaluate our method in difficult cases where training policy through standard reinforcement learning (RL) or even hierarchical RL is either not feasible or exhibits high sample complexity. We show that our method not only transfers skills to new problem settings but also solves the challenging environments requiring both task planning and motion control with high data efficiency.

研究动机与目标

• 解决强化学习中可泛化技能组合的不足，其中大多数方法专注于学习任务特定策略，而非重用或组合预先学习的、任务无关的技能。
• 通过组合现有原始策略而非从零开始训练，实现在新、未见过的任务上的高效迁移。
• 克服标准强化学习和分层强化学习在稀疏奖励和复杂运动控制环境中所面临的高样本复杂度和失败模式问题。
• 设计一种结构化、端到端可训练的框架，通过注意力机制整合状态、目标和技能信息，实现动态策略组合。
• 展示根据任务需求，同时支持并行（AND操作）和顺序（OR操作）的技能组合能力。

提出的方法

• 采用双向循环神经网络（BRNN）编码器，将一组固定的、任务无关的原始策略嵌入潜在状态，捕捉时间依赖性和顺序依赖性。
• 使用前馈解码器配合注意力机制，对编码后的技能表示进行注意力计算，基于当前状态和目标信息预测技能组合的混合权重。
• 利用预测的混合权重组合原始策略的动作，实现动态、上下文相关的行为融合。
• 通过标准或分层强化学习端到端训练整个模型，实现技能组合与策略执行的联合优化。
• 设计解码器以支持通过学习的注意力权重实现并行（多个活跃策略）和顺序（分阶段策略激活）的组合。
• 采用模块化架构，其中原始策略预先训练并固定，仅对门控机制（混合权重预测器）进行微调以适应新任务，从而实现高效迁移。

实验结果

研究问题

• RQ1 深度强化学习框架能否有效组合预训练的、任务无关的原始策略，以高数据效率解决新的、未见过的任务？
• RQ2 基于注意力的技能组合与无潜在编码或注意力机制的直接混合权重预测相比，表现如何？
• RQ3 所提出方法在需要同时进行运动控制和任务规划的复杂任务中，能在多大程度上处理稀疏奖励环境下的挑战？
• RQ4 该模型是否支持顺序和并行的技能组合？这种支持在注意力权重动态中如何体现？
• RQ5 该框架能否在多样化环境中泛化，并在样本复杂度和最终性能上优于标准和分层强化学习基线？

主要发现

• 所提出方法在Ant Random Goal、Cross Maze Ant和Pusher环境中显著优于消融模型，特别是缺少BRNN或注意力机制的模型，证明了结构化潜在编码和注意力机制的必要性。
• 在2D多目标点质量环境中的结果显示，注意力权重能动态地同时激活多个原始策略（例如，向上、向右），实现直达目标的非阶梯状路径，证实了并行组合能力。
• 该模型成功解决了标准和分层强化学习失败或样本复杂度过高而无法完成的挑战性环境，表明在稀疏奖励设置下的鲁棒性。
• 注意力可视化显示，即使在存在噪声的情况下，模型仍会为与目标方向对齐的原始策略分配更高的权重，证实了任务感知和目标条件化的组合机制。
• 消融研究证实，若不通过编码技能表示（如MCP方法）直接预测混合权重，性能会显著下降，凸显了通过BRNN进行潜在状态建模的优势。
• 该方法通过重用固定的原始策略，仅微调门控网络，实现了对新任务的有效迁移，展现出强大的泛化能力和数据效率。