[论文解读] A reinforcement learning algorithm for building collaboration in multi-agent systems

Mehmet Emin Aydın, Ryan Fellows|arXiv (Cornell University)|Nov 28, 2017

Reinforcement Learning in Robotics参考文献 5被引用 4

一句话总结

本文提出了一种嵌入粒子群优化（PSO）中的新型Q-learning算法，以在多智能体系统中实现协作行为。通过将强化学习与PSO相结合，智能体通过基于竞争的奖励机制学习保持邻近并避免干扰，在模拟中实现了稳定的集体运动，尽管在分离后重新连接方面存在局限性。

ABSTRACT

This paper presents a proof-of concept study for demonstrating the viability of building collaboration among multiple agents through standard Q learning algorithm embedded in particle swarm optimisation. Collaboration is formulated to be achieved among the agents via some sort competition, where the agents are expected to balance their action in such a way that none of them drifts away of the team and none intervene any fellow neighbours territory. Particles are devised with Q learning algorithm for self training to learn how to act as members of a swarm and how to produce collaborative/collective behaviours. The produced results are supportive to the algorithmic structures suggesting that a substantive collaboration can be build via proposed learning algorithm.

研究动机与目标

• 开发一种强化学习框架，以实现在动态、实时环境中的多智能体协作。
• 解决在允许个体智能体竞争奖励的同时保持群体凝聚力的挑战。
• 将Q-learning与粒子群优化相结合，以实现自我训练和涌现的集体行为。
• 评估基于竞争的学习在实现稳健、可扩展的多智能体协作方面的可行性。
• 识别当前实现中的局限性，特别是智能体分离后重新连接的问题。

提出的方法

• 该算法使用标准Q-learning，通过状态-动作值更新，使个体智能体基于奖励学习最优行为。
• 智能体被建模为PSO框架中的粒子，其位置和速度指导运动与交互。
• 每个智能体在保持与邻居接近时获得正向奖励，而在超出范围或与其他智能体重叠时获得负向奖励。
• 学习过程由一个平衡邻近保持与干扰避免的奖励函数驱动。
• 系统使用折扣因子和学习率随时间更新Q值，以实现长期行为优化。
• 在NetLogo中进行模拟，以观察多轮迭代中智能体的行为，并跟踪每个智能体的个体学习过程。

实验结果

研究问题

• RQ1 嵌入PSO的Q-learning是否能有效训练智能体在避免干扰的同时维持集体凝聚力？
• RQ2 基于竞争的奖励结构在多智能体系统中如何影响协作行为的涌现？
• RQ3 当前算法在智能体分离后维持连接性方面存在哪些局限性？
• RQ4 个体智能体在同步的多智能体环境中在多大程度上能够学习到最优决策？
• RQ5 学习率和奖励幅度等超参数在多大程度上影响学习过程的收敛性和稳定性？

主要发现

• 混合Q-learning与PSO的算法成功使智能体学会并维持邻近关系，表明协作行为可从基于竞争的学习中涌现。
• 在100轮迭代中，智能体表现出一致的学习行为，大多数能够正确决策以避免干扰并维持群体凝聚力。
• 尽管整体成功，但那些超出邻域半径的智能体未能重新连接，导致性能长期低下。
• 当多个智能体同时移动时出现同步问题，由于缺乏对邻居动作的预测，导致意外的邻近冲突。
• 将奖励值从5降低到0.5对学习结果影响甚微，表明在短期模拟中对奖励幅度的敏感度较低。
• 分离后缺乏重新连接机制被识别为关键局限性，未来需通过路径寻找或搜索算法进行增强。