[论文解读] M$^3$RL: Mind-aware Multi-agent Management Reinforcement Learning

Tianmin Shu, Yuandong Tian|arXiv (Cornell University)|Sep 29, 2018

Reinforcement Learning in Robotics参考文献 41被引用 13

一句话总结

该论文提出M$^3$RL，一种强化学习框架，通过训练管理代理实时推断具有自利动机的工作者代理的内心状态（技能、偏好、意图），并分配最优合同（含奖金），以实现高效、自适应的协作。通过结合模仿学习进行心智追踪与深度强化学习进行合同生成，该方法在最小支付成本下实现高生产率，在动态多智能体环境中展现出强大的泛化能力与快速适应性。

ABSTRACT

Most of the prior work on multi-agent reinforcement learning (MARL) achieves optimal collaboration by directly controlling the agents to maximize a common reward. In this paper, we aim to address this from a different angle. In particular, we consider scenarios where there are self-interested agents (i.e., worker agents) which have their own minds (preferences, intentions, skills, etc.) and can not be dictated to perform tasks they do not wish to do. For achieving optimal coordination among these agents, we train a super agent (i.e., the manager) to manage them by first inferring their minds based on both current and past observations and then initiating contracts to assign suitable tasks to workers and promise to reward them with corresponding bonuses so that they will agree to work together. The objective of the manager is maximizing the overall productivity as well as minimizing payments made to the workers for ad-hoc worker teaming. To train the manager, we propose Mind-aware Multi-agent Management Reinforcement Learning (M^3RL), which consists of agent modeling and policy learning. We have evaluated our approach in two environments, Resource Collection and Crafting, to simulate multi-agent management problems with various task settings and multiple designs for the worker agents. The experimental results have validated the effectiveness of our approach in modeling worker agents' minds online, and in achieving optimal ad-hoc teaming with good generalization and fast adaptation.

研究动机与目标

• 解决在多智能体系统中协调具有私有偏好、技能与意图的自利代理的挑战。
• 开发一种管理代理，能够基于行为历史与观测数据在线推断工作者心智。
• 优化合同分配（目标与奖金），以在最小化支付成本的同时最大化团队生产率。
• 实现对变化团队、不断演化的工作者技能/偏好以及新环境的快速适应。
• 通过先进的探索策略与后继表示技术，提升学习效率与策略泛化能力。

提出的方法

• 管理代理使用模仿学习（IL）从绩效历史中推断工作者身份并追踪其内部状态（技能、偏好）。
• 通过模仿学习训练心智追踪器，基于观测行为与任务结果估计工作者的私有属性。
• 合同生成被建模为深度强化学习（RL）问题，管理代理学习分配目标与奖金以激励合作。
• 学习高层级后继表示（SR），以改善复杂任务依赖关系下的信用分配与策略泛化。
• 应用基于个体的ε-贪婪探索，以提升在动态环境中工作者构成变化时的学习效率。
• 通过绩效历史推断工作者身份，使管理代理能够在无先验知识的情况下追踪并适应个体代理。

实验结果

研究问题

• RQ1 管理代理能否有效从行为模式中推断出自利工作者代理的私有心智（技能、偏好、意图）？
• RQ2 管理代理在多大程度上能够学习分配最优合同（目标与奖金），以在最小化支付成本的同时最大化团队生产率？
• RQ3 管理代理在多大程度上能泛化到新型团队构成，包括新加入的工作者与变化的技能分布？
• RQ4 该方法在具有延迟与稀疏奖励的动态环境中适应性的表现如何？
• RQ5 关键组件如IL、SR与基于个体的探索对整体性能与适应性有何贡献？

主要发现

• 管理代理成功利用绩效历史与模仿学习实时推断工作者心智，即使偏好不固定或存在欺骗行为亦能有效应对。
• 在资源收集与合成环境中的实验表明，该方法在平均奖励上优于基线方法，尤其在团队动态变化时表现更优。
• 在75%工作者被替换的场景下，M$^3$RL管理代理适应速度更快，且达到与具备真实知识的“理想”管理代理相当的奖励水平，显著优于时间相关的ε-贪婪基线方法。
• 该方法在不同团队规模下均表现出良好泛化能力，仅在高工作者数量时性能趋于平稳，且在低工作者规模下甚至超过真实知识基线。
• 在随机与次优工作者策略下，模型仍保持强健性能，即使在最多20%动作随机性下，奖励下降也仅中等程度。
• 消融实验确认IL、SR与基于个体的探索为关键组件，显著提升学习效率、稳定性与适应速度。