[论文解读] Learning to Communicate to Solve Riddles with Deep Distributed Recurrent Q-Networks

Jakob Foerster, Yannis Assael+2 more|arXiv (Cornell University)|Feb 8, 2016

Reinforcement Learning in Robotics参考文献 43被引用 85

一句话总结

本文提出深度分布式循环Q网络（DDRQN），一种多智能体强化学习框架，使智能体能够自主学习通信协议以解决部分可观测协调任务。在两个基于谜题的环境——帽子谜题与开关谜题中，DDRQN成功发现有效的通信策略，标志着首个从零开始学习通信协议的深度强化学习方法的成功。

ABSTRACT

We propose deep distributed recurrent Q-networks (DDRQN), which enable teams of agents to learn to solve communication-based coordination tasks. In these tasks, the agents are not given any pre-designed communication protocol. Therefore, in order to successfully communicate, they must first automatically develop and agree upon their own communication protocol. We present empirical results on two multi-agent learning problems based on well-known riddles, demonstrating that DDRQN can successfully solve such tasks and discover elegant communication protocols to do so. To our knowledge, this is the first time deep reinforcement learning has succeeded in learning communication protocols. In addition, we present ablation experiments that confirm that each of the main components of the DDRQN architecture are critical to its success.

研究动机与目标

• 解决在缺乏预定义通信协议的情况下，多智能体在部分可观测环境中进行协调的挑战。
• 开发一种可扩展的深度学习架构，使智能体能够学习协调策略与涌现通信策略。
• 证明端到端深度强化学习可在复杂协调任务中发现有效且人类可解释的通信协议。
• 研究在多智能体、部分可观测设置下关键架构组件的必要性与影响。
• 提供一个基准，用于评估基于通信的多智能体强化学习协调能力，以著名谜题作为测试平台。

提出的方法

• 提出DDRQN，一种结合长短期记忆网络（LSTM）与共享、智能体特定权重的深度强化学习架构，以建模记忆与历史信息。
• 引入最后动作输入，帮助智能体近似自身的动作-观测历史，从而实现更优的序列建模。
• 通过唯一ID实现智能体间权重共享并进行智能体特定的条件控制，从而实现快速且可泛化的学习。
• 禁用经验回放，以避免多个智能体并发学习引发的非平稳性问题。
• 使用独立Q学习与深度Q网络进行训练，每个智能体基于本地观测与动作学习其自身的Q函数。
• 采用最小化目标与预测Q值之间时序差分误差的损失函数，并使用目标网络以增强稳定性。

实验结果

研究问题

• RQ1 深度强化学习是否能够在无任何预定义通信规则的多智能体、部分可观测环境中学习到有效的通信协议？
• RQ2 在这些环境中，哪些架构组件是实现成功通信与协调的关键？
• RQ3 在多智能体、非平稳环境中，缺乏经验回放如何影响学习稳定性与性能？
• RQ4 共享的、循环的网络结构结合智能体特定条件控制，在多智能体间实现泛化与快速学习的能力有多大？
• RQ5 DDRQN所发现的涌现通信协议在复杂协调任务中是否既有效又可解释？

主要发现

• DDRQN在帽子谜题与开关谜题中均以高成功率成功解决任务，在最多n=4个智能体的情况下，开关谜题的性能接近完美。
• 智能体间权重共享是最关键的组件；若无此机制，即使n=3时智能体也无法学习任务。
• 最后动作输入显著提升性能；若移除该机制，成功率下降至与朴素的‘在最后一天告知’策略相当的水平。
• 禁用经验回放至关重要——启用经验回放时性能从未达到最优，表明经验回放不适用于多智能体学习中的非平稳性。
• 消融实验确认，三个核心组件（最后动作输入、权重共享、无经验回放）对有效学习均不可或缺。
• DDRQN发现的通信协议具有可解释性且结构优雅，与人类解决谜题的思路一致，证明了无需监督即可实现涌现协调。