[论文解读] Learning Hierarchical Teaching Policies for Cooperative Agents

Dong Ki Kim, Miao Liu+8 more|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 43被引用 8

一句话总结

本文提出了分层多智能体教学（HMAT），一种深度强化学习框架，通过分层强化学习和扩展的动作序列，使合作智能体能够学习高层级、可迁移的教学策略。HMAT克服了在复杂、高维环境中教师信用分配的挑战，与以往方法相比，显著加速了团队整体的学习进程。

ABSTRACT

Collective learning can be greatly enhanced when agents effectively exchange knowledge with their peers. In particular, recent work studying agents that learn to teach other teammates has demonstrated that action advising accelerates team-wide learning. However, the prior work has simplified the learning of advising policies by using simple function approximations and only considered advising with primitive (low-level) actions, limiting the scalability of learning and teaching to complex domains. This paper introduces a novel learning-to-teach framework, called hierarchical multiagent teaching (HMAT), that improves scalability to complex environments by using the deep representation for student policies and by advising with more expressive extended action sequences over multiple levels of temporal abstraction. Our empirical evaluations demonstrate that HMAT improves team-wide learning progress in large, complex domains where previous approaches fail. HMAT also learns teaching policies that can effectively transfer knowledge to different teammates with knowledge of different tasks, even when the teammates have heterogeneous action spaces.

研究动机与目标

• 解决先前动作建议方法在复杂、高维合作多智能体环境中面临的可扩展性局限。
• 通过估计建议序列对学生学习进展的影响，克服多智能体教学中的教师信用分配问题。
• 实现在具有异构动作空间和不同任务需求的智能体之间有效知识迁移。
• 开发一种分层教学框架，利用时间扩展的子目标和深度策略表示，以提升学习效率。

提出的方法

• HMAT采用分层强化学习（HRL），使教师能够使用时间扩展的原始动作序列（即子目标）进行建议，而非单个低层次动作。
• 该框架采用多层策略结构：管理器级策略生成子目标，工作者级策略执行原始动作，建议级策略决定何时以及如何提供建议。
• 提出一种新颖的信用分配机制，估算每条建议序列对学生学习进展的贡献，从而实现教师策略的稳定训练。
• 建议级策略使用Gumbel-Softmax估计器，通过离散的'何时建议'决策反向传播梯度，实现端到端训练。
• 使用深度神经网络表示学生策略，使该框架能够扩展至大规模状态-动作空间和长时程任务。
• 预训练的工作者策略在训练过程中保持固定，管理器级策略被训练以生成引导学生的子目标，建议在管理器层级提供。

实验结果

研究问题

• RQ1 在先前方法失效的复杂、高维合作多智能体环境中，分层教学框架是否能提升学习效率？
• RQ2 当使用扩展动作序列而非原始动作进行建议时，如何准确估计教师信用分配？
• RQ3 教师策略在面对具有异构动作空间或不同任务的队友时，其知识迁移能力在多大程度上有效？
• RQ4 使用分层策略和深度表示是否能带来更快且更稳定的团队整体学习进展？

主要发现

• 在COBP和CTBP等复杂领域中，HMAT显著加速了团队整体学习进度，而先前方法无法收敛。
• 该框架能够有效将知识迁移至具有不同动作空间的队友，证明了教学策略具有强大的泛化能力和可迁移性。
• 实证结果表明，采用CR（基于信用的奖励）教师奖励函数的HMAT在学习速度和稳定性方面优于其他奖励函数和基线方法。
• 使用扩展建议序列和分层策略可实现更快收敛，且随着训练线程数量的增加，教师策略训练收敛速度也更快。
• 预训练并固定工作者策略可稳定学习过程，使管理器级教学策略能够专注于高层子目标生成和建议时机的优化。