[论文解读] Agent Modeling as Auxiliary Task for Deep Reinforcement Learning

Pablo Hernández-Leal, Bilal Kartal+1 more|arXiv (Cornell University)|Jul 22, 2019

Reinforcement Learning in Robotics被引用 15

一句话总结

本文提出了两种基于A3C的深度强化学习架构——AMS-A3C（参数共享）和AMF-A3C（策略特征）——将代理建模作为辅助任务，以提升策略和价值函数的学习效果。两种架构均能稳定训练过程，并在合作与竞争型多智能体环境中优于标准A3C，实现更高的期望奖励，且在合作任务中表现出更优的协调能力，或在竞争任务中更有效地利用对手行为。

ABSTRACT

In this paper we explore how actor-critic methods in deep reinforcement learning, in particular Asynchronous Advantage Actor-Critic (A3C), can be extended with agent modeling. Inspired by recent works on representation learning and multiagent deep reinforcement learning, we propose two architectures to perform agent modeling: the first one based on parameter sharing, and the second one based on agent policy features. Both architectures aim to learn other agents' policies as auxiliary tasks, besides the standard actor (policy) and critic (values). We performed experiments in both cooperative and competitive domains. The former is a problem of coordinated multiagent object transportation and the latter is a two-player mini version of the Pommerman game. Our results show that the proposed architectures stabilize learning and outperform the standard A3C architecture when learning a best response in terms of expected rewards.

研究动机与目标

• 通过将代理建模作为辅助任务，提升多智能体强化学习中的深度强化学习性能。
• 探究在学习主要策略和价值函数的同时，学习其他智能体策略是否能增强学习稳定性与性能。
• 探索在基于策略的A3C框架中，参数共享与基于策略特征建模两种不同架构的有效性。
• 在合作型（多智能体物体运输）与竞争型（mini-Pommerman）环境中评估所提出方法。
• 证明辅助代理建模能够提升合作环境中的协调能力，以及竞争环境中的最优响应策略。

提出的方法

• 提出AMS-A3C，通过参数共享联合训练学习智能体的策略网络与共享网络，以建模对手或队友的策略。
• 提出AMF-A3C，通过从观测中提取的策略特征学习对手策略的潜在表示，并将该表示作为智能体演员与评论家网络的输入。
• 在A3C框架中，将代理建模作为辅助损失，与标准策略和价值函数损失一同进行训练。
• 采用基于策略的学习方式，不使用经验回放，保持A3C的异步、实时训练范式。
• 引入超参数λAM，用于平衡辅助代理建模损失与主要强化学习目标。
• 使用t-SNE可视化分析学习表示，对比A3C与所提模型的激活模式。

实验结果

研究问题

• RQ1 将其他智能体的策略建模作为辅助任务，是否能提升深度强化学习中的学习稳定性与性能？
• RQ2 与学习策略特征相比，代理建模的参数共享在性能与收敛性方面表现如何？
• RQ3 辅助代理建模是否能增强合作型多智能体任务中的协调能力，以及竞争型环境中的最优响应策略？
• RQ4 代理建模在多大程度上改善了表示学习，其证据来自学习状态表示的t-SNE可视化？
• RQ5 所提架构是否能在复杂且具有随机性的环境（如mini-Pommerman）中超越标准A3C？

主要发现

• 在合作型多智能体物体运输任务中，AMS-A3C与AMF-A3C显著优于标准A3C，实现更高的期望奖励，且协调能力更强、收敛更快。
• 在竞争型mini-Pommerman环境中，两种所提架构获得的奖励均高于A3C，其中AMS-A3C在第350万集（α=0.05）后表现出统计显著性。
• 当面对非确定性队友（尤其是‘固执’队友场景）时，AMS-A3C与AMF-A3C表现出更优的稳定性与更低的方差。
• 使用AMS-A3C训练的智能体在抓取物体后表现出更优的协调能力，能比A3C更快抵达目标。
• 在竞争领域中，AMS-A3C与AMF-A3C学会利用对手行为（如通过阻断移动导致自杀），从而获得更高得分。
• t-SNE可视化显示，AMS-A3C学习到了更具结构化与语义意义的状态表示，其中存在一个明确对应于获胜状态（价值≈1）的聚类，表明其对对手行为的预测能力更强。