[论文解读] Learning to Gather without Communication

El Mahdi El Mhamdi, Rachid Guerraoui+2 more|arXiv (Cornell University)|Feb 21, 2018

Reinforcement Learning in Robotics参考文献 39被引用 3

一句话总结

本论文首次通过实验展示了多智能体系统在无通信条件下，利用去中心化强化学习实现聚集行为的能力。在1D环形拓扑中，智能体通过带状态近似的Q-learning学习到最优聚集行为，实现了快速、鲁棒且可扩展的收敛——即使在高达90%智能体损失的情况下仍能保持稳定——且在相同感知约束下，其性能与或优于确定性算法。

ABSTRACT

A standard belief on emerging collective behavior is that it emerges from simple individual rules. Most of the mathematical research on such collective behavior starts from imperative individual rules, like always go to the center. But how could an (optimal) individual rule emerge during a short period within the group lifetime, especially if communication is not available. We argue that such rules can actually emerge in a group in a short span of time via collective (multi-agent) reinforcement learning, i.e learning via rewards and punishments. We consider the gathering problem: several agents (social animals, swarming robots...) must gather around a same position, which is not determined in advance. They must do so without communication on their planned decision, just by looking at the position of other agents. We present the first experimental evidence that a gathering behavior can be learned without communication in a partially observable environment. The learned behavior has the same properties as a self-stabilizing distributed algorithm, as processes can gather from any initial state (and thus tolerate any transient failure). Besides, we show that it is possible to tolerate the brutal loss of up to 90\% of agents without significant impact on the behavior.

研究动机与目标

• 探究智能体是否能在无通信的去中心化环境中，仅通过强化学习实现聚集行为。
• 设计一种可扩展的学习框架，即使在多智能体导致状态空间组合爆炸的情况下仍保持有效性。
• 评估所学行为在高智能体损失（高达90%）情况下的鲁棒性。
• 在相同感知约束下，比较所学行为与受限确定性算法（Q-确定性）的性能。
• 证明所学策略在不同群体规模（例如从10个到100个智能体）之间可迁移，且无需重新训练。

提出的方法

• 智能体使用带eligibility traces的Q-learning，基于群体凝聚力奖励和孤立惩罚来学习最优动作。
• 采用状态近似技术将邻近智能体聚类，降低有效状态空间，实现与智能体数量无关的可扩展性。
• 每个智能体仅能感知其他智能体在离散扇区内的相对位置，模拟有限的感知能力。
• 动作空间被离散化，智能体根据学习到的Q值选择移动动作（如左移、右移、停留）。
• 学习过程完全去中心化：智能体之间不发生任何中心协调或通信。
• 通过在相同感知约束下，对已知的确定性质心算法轨迹计算Q值，构建Q-确定性基线，以实现公平比较。

实验结果

研究问题

• RQ1 智能体是否能仅通过局部奖励与惩罚，在无通信条件下学习到聚集行为？
• RQ2 所学策略在不重新训练的情况下，能否在显著更大的群体规模（如100个智能体）下保持性能与稳定性？
• RQ3 在相同感知与动作约束下，所学行为的性能与确定性算法相比如何？
• RQ4 所学行为在极端故障（如高达90%智能体损失）下，其容错能力如何？
• RQ5 感知近似（如聚类）是否能在高维或大规模多智能体系统中保持学习效率与准确性？

主要发现

• 智能体在13个节点的环上，从随机初始位置出发，平均仅需5步即可完成聚集，且后续保持高度凝聚力。
• 所学策略无需重新训练即可直接泛化至100个智能体，平均聚集时间10步，最坏情况小于50步。
• 所学行为在邻居密度方面优于Q-确定性基线：平均最大邻居数达87%（对比80%），平均最小邻居数达40%（对比28%）。
• 系统展现出强大的容错能力，即使在高达90%智能体损失后，仍能有效维持聚集行为。
• 所学行为的聚集时间标准差为5.1，略高于Q-确定性算法的4.9，但在关键指标上整体性能相当或更优。
• 基于聚类的感知近似使学习空间大小保持恒定，使该方法具备可扩展性，且与智能体数量和环大小无关。