[论文解读] Likelihood Quantile Networks for Coordinating Multi-Agent Reinforcement Learning

Xueguang Lyu, Christopher Amato|arXiv (Cornell University)|Dec 15, 2018

Reinforcement Learning in Robotics参考文献 34被引用 8

一句话总结

本文提出似然分位数网络（LQN），一种去中心化的多智能体强化学习方法，利用时差似然（TDL）识别并降低由同伴探索或策略变化引起的转移影响。通过估计回报分布的似然，LQN 自适应调整学习率，并整合动态风险扭曲以提升稳定性、样本效率，并在具有挑战性的基准上实现联合最优策略的收敛。

ABSTRACT

When multiple agents learn in a decentralized manner, the environment appears non-stationary from the perspective of an individual agent due to the exploration and learning of the other agents. Recently proposed deep multi-agent reinforcement learning methods have tried to mitigate this non-stationarity by attempting to determine which samples are from other agent exploration or suboptimality and take them less into account during learning. Based on the same philosophy, this paper introduces a decentralized quantile estimator, which aims to improve performance by distinguishing non-stationary samples based on the likelihood of returns. In particular, each agent considers the likelihood that other agent exploration and policy changes are occurring, essentially utilizing the agent's own estimations to weigh the learning rate that should be applied towards the given samples. We introduce a formal method of calculating differences of our return distribution representations and methods for utilizing it to guide updates. We also explore the effect of risk-seeking strategies for adjusting learning over time and propose adaptive risk distortion functions which guides risk sensitivity. Our experiments, on traditional benchmarks and new domains, show our methods are more stable, sample efficient and more likely to converge to a joint optimal policy than previous methods.

研究动机与目标

• 解决由于其他智能体同时学习和探索所导致的去中心化多智能体强化学习中的非平稳性问题。
• 开发一种通用的、无需超参数调节的方法，自动识别次优或探索性转移，而无需依赖预言机或集中信息。
• 在合作性多智能体强化学习设置中提升训练稳定性和向联合最优策略的收敛性。
• 整合动态风险扭曲以实现自适应的乐观性，增强对环境随机性和策略变化的鲁棒性。

提出的方法

• 提出时差似然（TDL），一种新颖的基于似然的估计器，利用回报分布表示来度量某次转移由同伴探索或策略变化引起的可能性。
• 将隐式分位数网络（IQN）扩展至多智能体设置，构建似然-IQN（LH-IQN），其使用辅助价值分布期望来计算TDL值。
• 采用动态风险扭曲（DRD）算子，通过CVaR和Wang扭曲等风险敏感函数随时间调度乐观性，并对风险参数η进行退火。
• 利用TDL指导学习率自适应，对似然较低的转移（表明存在同伴探索）施加更高的更新，从而减轻其对价值估计的负面影响。
• 结合TDL与DRD算子以增强策略鲁棒性，尤其在高随机性环境中表现更优。
• 采用自监督机制，使智能体仅从观测到的转移中推断同伴探索状态，而无需访问真实探索标签。

实验结果

研究问题

• RQ1 去中心化方法能否自动区分由同伴探索引起的非平稳转移与由环境随机性引起的转移？
• RQ2 如何利用回报分布似然来指导多智能体强化学习中的自适应学习率调度？
• RQ3 整合动态风险扭曲是否能提升高随机性多智能体环境中的策略稳定性和收敛性？
• RQ4 TDL与DRD能否结合使用以提升性能，而无需超参数调优或集中式训练组件？

主要发现

• 在标准和新基准上，LH-IQN结合TDL相比基线方法（如DQN、LDQN和原始IQN）显著提升了训练稳定性和样本效率。
• TDL值在自我探索与同伴探索的转移之间表现出显著差异，证明其无需真实标签即可有效检测非平稳影响。
• TDL与动态风险扭曲（DRD）的结合可实现更快的最优策略收敛，尤其在滑动概率为0.3的高随机性环境中表现突出。
• 采用退火η（从0.9降至0.4）的DRD优于固定风险扭曲，并通过打破阴影均衡状态和减少分位数估计不一致性，提升了早期训练表现。
• 即使采用固定风险扭曲，LH-IQN在性能上仍优于LDQN和原始IQN，表明该方法具备更强的鲁棒性与自适应能力。
• 该方法在以往去中心化方法失效的环境中实现了联合最优策略的收敛，证明其在复杂非平稳环境中的有效性。