[论文解读] Multi-Task Policy Search

Marc Peter Deisenroth, Péter Englert+2 more|arXiv (Cornell University)|Jul 2, 2013

Reinforcement Learning in Robotics参考文献 30被引用 3

一句话总结

本文提出了一种多任务策略搜索框架，通过学习一个由状态和任务共同参数化的单一非线性反馈策略，实现在机器人领域中对连续任务变化的数据高效泛化。通过在PILCO框架内直接将任务信息整合到策略函数中，该方法实现了无需微调即可有效迁移和泛化到未见过的任务，已在真实机器人实验中成功验证了其在强化学习和模仿学习中的有效性。

ABSTRACT

Learning policies that generalize across multiple tasks is an important and challenging research topic in reinforcement learning and robotics. Training individual policies for every single potential task is often impractical, especially for continuous task variations, requiring more principled approaches to share and transfer knowledge among similar tasks. We present a novel approach for learning a nonlinear feedback policy that generalizes across multiple tasks. The key idea is to define a parametrized policy as a function of both the state and the task, which allows learning a single policy that generalizes across multiple known and unknown tasks. Applications of our novel approach to reinforcement and imitation learning in real-robot experiments are shown.

研究动机与目标

• 解决在机器人领域中学习能泛化到连续相关任务集合的策略的挑战。
• 通过实现任务间的知识迁移，减少对任务特定策略和昂贵物理交互的依赖。
• 开发一种数据高效的学习方法，使策略能泛化到未见过的任务而无需重新训练。
• 通过直接将任务信息整合到策略参数化中，提升泛化能力。
• 将策略搜索扩展到真实机器人系统中的多任务强化学习和模仿学习。

提出的方法

• 策略参数化为 u = π(x, η, θ)，其中 x 为状态，η 为任务，θ 为策略参数，实现跨任务的联合学习。
• 该方法采用PILCO框架，利用高斯过程模型实现准确且数据高效的长期预测。
• 通过随机优化方法优化策略参数，最小化在多个任务上的期望长期成本。
• 显式地将任务表示 η 作为策略的输入，使策略能够泛化到未见过但相关的任务。
• 在模仿学习中，方法通过最小化专家轨迹与策略生成轨迹之间的KL散度来实现，任务特定行为由 η 编码。
• 通过联合优化策略参数和任务感知的动力学模型，该方法同时支持强化学习和模仿学习。

实验结果

研究问题

• RQ1 一个单一的非线性策略是否能在无需重新训练的情况下，泛化到机器人领域中连续相关任务集合？
• RQ2 如何有效将任务信息整合到策略中，以提升对未见过任务的泛化能力？
• RQ3 多任务策略学习是否能在考虑模型不确定性的同时，实现与基于模型的强化学习相当的数据效率？
• RQ4 模仿学习在采用任务增强策略时，其泛化能力在多大程度上可超越示范任务？
• RQ5 与分层策略或局部策略组合方法相比，该方法在泛化能力和灵活性方面表现如何？

主要发现

• 所提出的方法在BioRob X4机器人上成功将单一策略泛化到2D平面上未见过的击打任务，在7×5的测试位置网格上均实现了低于0.08 m的误差。
• 在小车载杆实验中，策略在目标位置连续变化的任务中实现了平滑泛化，展示了超越线性组合的非线性泛化能力。
• 在积木堆叠任务中，策略在六种不同积木上均实现了与目标距离平均在0.1 m以内的表现，展示了在真实世界操作中的鲁棒性和泛化能力。
• 该方法减少了对任务特定微调的需求，实现了在未见过任务上实时部署泛化策略。
• 在如小车载杆这类非线性任务中，该方法优于局部策略线性组合，后者因非线性而失效。
• 将任务感知策略集成到PILCO中，实现了仅需约20分钟计算时间即可完成BioRob X4机器人上的模仿学习，表现出数据高效的学习性能。