[论文解读] A Decentralized Policy Gradient Approach to Multi-task Reinforcement Learning

Sihan Zeng, Aqeel Anwar+3 more|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 44被引用 7

一句话总结

该论文提出了一种用于多任务强化学习（MTRL）的去中心化策略梯度方法，其中多个智能体通过仅交换策略参数，在不同环境中协作学习共享策略。该方法在表格设置下可实现有限时间收敛至驻点，并在结构假设下达到全局最优性能，展示了在GridWorld和大规模无人机导航任务中使用神经网络函数逼近的有效性。

ABSTRACT

We develop a mathematical framework for solving multi-task reinforcement learning (MTRL) problems based on a type of policy gradient method. The goal in MTRL is to learn a common policy that operates effectively in different environments; these environments have similar (or overlapping) state spaces, but have different rewards and dynamics. We highlight two fundamental challenges in MTRL that are not present in its single task counterpart, and illustrate them with simple examples. We then develop a decentralized entropy-regularized policy gradient method for solving the MTRL problem, and study its finite-time convergence rate. We demonstrate the effectiveness of the proposed method using a series of numerical experiments. These experiments range from small-scale "GridWorld" problems that readily demonstrate the trade-offs involved in multi-task learning to large-scale problems, where common policies are learned to navigate an airborne drone in multiple (simulated) environments.

研究动机与目标

• 解决在动力学和奖励函数各不相同的多个环境中学习单一通用策略的挑战。
• 设计一种去中心化通信框架，使智能体仅交换策略参数，避免集中式协调。
• 为所提出方法在表格设置和神经网络设置下的理论收敛性提供保证。
• 在大规模、高维任务（如模拟环境中的无人机导航）中展示方法的可扩展性与有效性。
• 通过示例阐明单任务与多任务强化学习之间的根本差异。

提出的方法

• 将MTRL建模为智能体网络上的分布式优化问题，每个智能体负责一个任务。
• 采用带熵正则化的策略梯度更新，以在不同任务间平衡探索与利用。
• 智能体通过循环（环形）通信图仅交换策略参数，最大限度减少数据交换。
• 使用REINFORCE、A2C或PPO进行梯度估计，结合ADAM优化和蒙特卡洛回报估计。
• 理论分析表明，在表格情况下可收敛至驻点，且在特定动力学假设下可达到全局最优。
• 在高维状态空间中使用神经网络策略函数逼近，无人机实验中采用五层CNN架构。

实验结果

研究问题

• RQ1 去中心化通信在多任务强化学习中的策略学习性能方面有何影响？
• RQ2 单任务与多任务强化学习之间存在哪些根本差异，导致需要新的算法设计？
• RQ3 去中心化策略梯度方法是否能在共享策略参数的MTRL中实现有限时间收敛？
• RQ4 该方法在高维、现实世界环境（如无人机导航）中的可扩展性如何？
• RQ5 在何种结构假设下，算法可收敛至全局最优策略？

主要发现

• 去中心化策略梯度方法在表格设置下可收敛至非凹全局目标的驻点。
• 在环境动力学的特定结构假设下，该方法可收敛至全局最优策略值。
• 在GridWorld环境中，该方法实现了稳定且有效的多任务性能，平衡了各任务间的权衡。
• 在大规模无人机导航任务中，该方法成功在四个具有不同光照和结构的室内环境中学习到共享策略。
• 在两块RTX2080 GPU上训练4000个episode约耗时25小时，证明了其在数据密集型任务中的可行性。
• 与完整轨迹数据相比，仅交换策略参数可显著降低通信开销，从而实现大规模网络中的可扩展性。