[论文解读] A Q-values Sharing Framework for Multiagent Reinforcement Learning under Budget Constraint

Changxi Zhu, Ho-fung Leung+2 more|arXiv (Cornell University)|Nov 28, 2020

Reinforcement Learning in Robotics参考文献 28被引用 7

一句话总结

该论文提出了一种面向预算约束下合作多智能体强化学习的Partaker-Sharer Advising Framework（PSAF），其中智能体根据置信度和探索水平动态决定何时请求或共享Q值。PSAF在通信预算有限的情况下，通过有针对性的高置信度Q值共享，实现了更快的收敛速度，显著优于动作建议方法及其他Q值共享方法。

ABSTRACT

In teacher-student framework, a more experienced agent (teacher) helps accelerate the learning of another agent (student) by suggesting actions to take in certain states. In cooperative multiagent reinforcement learning (MARL), where agents need to cooperate with one another, a student may fail to cooperate well with others even by following the teachers' suggested actions, as the polices of all agents are ever changing before convergence. When the number of times that agents communicate with one another is limited (i.e., there is budget constraint), the advising strategy that uses actions as advices may not be good enough. We propose a partaker-sharer advising framework (PSAF) for cooperative MARL agents learning with budget constraint. In PSAF, each Q-learner can decide when to ask for Q-values and share its Q-values. We perform experiments in three typical multiagent learning problems. Evaluation results show that our approach PSAF outperforms existing advising methods under both unlimited and limited budget, and we give an analysis of the impact of advising actions and sharing Q-values on agents' learning.

研究动机与目标

• 解决在智能体策略持续变化时，合作多智能体强化学习（MARL）中动作建议方法效率低下的问题。
• 克服动作建议方法因环境动态变化和策略漂移而难以有效传递策略知识的局限性。
• 开发一种知识共享机制，通过在通信预算约束下进行有针对性的Q值交换，实现更快的学习速度。
• 确保仅共享高置信度、有用的Q值，以最大化学习效率并最小化通信开销。
• 通过利用更有经验队友预先学习的Q值，使智能体能够更优地行动，特别是在罕见访问状态中。

提出的方法

• 引入动态建议角色分配机制：智能体根据其置信度和探索水平，作为请求者（partaker）或提供者（sharer）发挥作用。
• 使用置信度函数Pask确定请求者何时应请求Q值，基于当前Q值的访问次数少且置信度低。
• 为请求者和提供者分别定义置信度函数，以在共享或请求前评估Q值的可靠性。
• 要求提供者比请求者更频繁地更新其最大Q值，以确保共享的Q值质量高且稳定。
• 实施预算约束机制，整个学习过程中仅允许有限数量的Q值共享交互。
• 将Q值共享集成到Q-learning更新规则中，使请求者可直接在策略学习中使用共享的Q值，而无需完整策略转移。

实验结果

研究问题

• RQ1 在通信预算无限和有限的情况下，Q值共享与动作建议在合作MARL中的表现如何比较？
• RQ2 在预算约束下，应依据何种标准决定请求者何时请求Q值，提供者何时提供Q值？
• RQ3 Q值共享是否能减少合作MARL任务中的学习时间并提升性能，尤其是在动态、协同适应的智能体系统中？
• RQ4 Q值的置信度如何影响多智能体设置中知识传递的有效性？
• RQ5 仅共享少量高置信度Q值与共享大量或全部Q值相比，对学习效率和收敛速度有何影响？

主要发现

• 在Predator-Prey、Half Field Offense和Spread Game三个基准任务中，PSAF在所有情况下均显著优于动作建议方法，尤其在通信预算有限时表现突出。
• 当通信预算无限时，PSAF在Half Field Offense任务中达到与领先的Q值共享方法AdhocTD-Q相当的性能。
• 随着预算减少，PSAF保持强劲表现，而动作建议方法性能急剧下降，表明其具有更高的通信效率。
• 动作建议方法的性能严重依赖于预算大小，而PSAF仅通过极少的共享交互即可实现高性能。
• 当在请求者访问次数少且提供者置信度高时共享Q值，Q值共享效果最佳，从而最小化对学习的干扰。
• 该框架可加速稀有状态中的学习，并加快在不同时间加入或经验水平不同的智能体系统中的收敛速度。