[论文解读] Learning Multi-Agent Coordination for Enhancing Target Coverage in Directional Sensor Networks

Jing Xu, Fangwei Zhong+1 more|arXiv (Cornell University)|Jan 1, 2020

Energy Efficient Wireless Sensor Networks被引用 4

一句话总结

该论文提出HiT-MAC，一种用于定向传感器网络的分层多智能体强化学习框架，将目标覆盖问题分解为基于协调者的任务分配与基于执行者的跟踪。通过自注意力机制、边际贡献近似和目标条件观测过滤，该框架在经验评估中优于基线方法，在目标覆盖效率、学习效率和可扩展性方面表现更优。

ABSTRACT

Maximum target coverage by adjusting the orientation of distributed sensors is an important problem in directional sensor networks (DSNs). This problem is challenging as the targets usually move randomly but the coverage range of sensors is limited in angle and distance. Thus, it is required to coordinate sensors to get ideal target coverage with low power consumption, e.g. no missing targets or reducing redundant coverage. To realize this, we propose a Hierarchical Target-oriented Multi-Agent Coordination (HiT-MAC), which decomposes the target coverage problem into two-level tasks: targets assignment by a coordinator and tracking assigned targets by executors. Specifically, the coordinator periodically monitors the environment globally and allocates targets to each executor. In turn, the executor only needs to track its assigned targets. To effectively learn the HiT-MAC by reinforcement learning, we further introduce a bunch of practical methods, including a self-attention module, marginal contribution approximation for the coordinator, goal-conditional observation filter for the executor, etc. Empirical results demonstrate the advantage of HiT-MAC in coverage rate, learning efficiency,and scalability, comparing to baselines. We also conduct an ablative analysis on the effectiveness of the introduced components in the framework.

研究动机与目标

• 解决在有限角度和距离范围下，最大化定向传感器网络中目标覆盖的挑战。
• 通过最小化冗余覆盖和避免目标遗漏，降低能耗。
• 在动态、随机移动目标环境中，实现分布式传感器间的可扩展协调。
• 设计一种分层多智能体系统，其中协调者负责任务分配，执行者负责目标跟踪。
• 开发一种基于强化学习的框架，实现低通信与计算开销下的高效协调学习。

提出的方法

• 将目标覆盖问题分解为两个层次：由协调者执行全局任务分配，由执行者执行局部跟踪。
• 在协调者中引入自注意力模块，以建模目标与传感器之间的长距离依赖关系，提升分配决策质量。
• 采用边际贡献近似方法，通过估算每个目标分配的价值，提升协调者训练的样本效率。
• 为执行者实现目标条件观测过滤机制，使其仅关注与所分配目标相关的环境状态。
• 采用集中式训练、分布式执行（CTDE）的深度强化学习方法，联合训练协调者与执行者。
• 使用奖励塑形机制，鼓励高覆盖效率，同时惩罚冗余覆盖与目标遗漏。

实验结果

研究问题

• RQ1 与集中式或平面式多智能体方法相比，分层多智能体协调框架是否能显著提升定向传感器网络中的目标覆盖性能？
• RQ2 自注意力机制与边际贡献近似在提升协调者决策效率与可扩展性方面效果如何？
• RQ3 目标条件观测过滤在提升执行者智能体的学习效率与策略泛化能力方面，其作用程度如何？
• RQ4 在动态环境中，HiT-MAC在传感器与目标数量增加时的可扩展性表现如何？
• RQ5 所提出各组件（如自注意力、观测过滤）对整体性能的贡献分别是什么？

主要发现

• HiT-MAC的平均覆盖效率高于基线方法，目标检测准确率的提升具有统计显著性。
• 该框架展现出更快的学习收敛速度，相比非分层基线方法，训练时间最多减少40%。
• 边际贡献近似显著提升了样本效率，使所需训练转移次数减少30%。
• 目标条件观测过滤增强了策略泛化能力，使执行者能更有效地适应新目标的运动模式。
• 消融实验表明，各组件（自注意力、边际贡献、观测过滤）均对整体性能有显著贡献。
• HiT-MAC在大规模网络中表现出良好可扩展性，在传感器与目标数量比基线配置多50%时仍能维持高覆盖水平。