[论文解读] Distributed coverage games for mobile visual sensor networks

Minghui Zhu, Sonia Martı́nez|arXiv (Cornell University)|Feb 1, 2010

Distributed Control Multi-Agent Systems参考文献 21被引用 15

一句话总结

本文将移动视觉传感器网络的分布式覆盖优化问题建模为一个受限的潜在博弈，其中每个传感器自主提升其覆盖范围的同时最小化处理成本。提出两种基于收益的自适应学习算法，仅依赖于局部的收益和动作记忆，即可以概率收敛至纳什均衡点与全局最优解，从而实现在动态环境中未知奖励信息下的去中心化、低复杂度运行。

ABSTRACT

Motivated by current challenges in data-intensive sensor networks, we formulate a coverage optimization problem for mobile visual sensors as a (constrained) repeated multi-player game. Each visual sensor tries to optimize its own coverage while minimizing the processing cost. We present two distributed learning algorithms where each sensor only remembers its own utility values and actions played during the last plays. These algorithms are proven to be convergent in probability to the set of (constrained) Nash equilibria and global optima of certain coverage performance metric, respectively.

研究动机与目标

• 解决在高处理成本条件下，移动视觉传感器网络中去中心化覆盖优化的挑战。
• 将感知效用权衡建模为一个受限的多玩家博弈，其中每个传感器自私地最小化自身成本，同时最大化覆盖范围。
• 设计仅需依赖过去动作与效用的局部记忆的分布式学习算法，避免对全局效用反馈的依赖。
• 在较弱假设条件下，证明学习动态几乎必然收敛至纳什均衡点与全局最优解。
• 将基于收益的学习方法扩展至具有递减探索率的非同质马尔可夫链，实现在概率设定下的收敛性。

提出的方法

• 将覆盖问题建模为受限潜在博弈，确保纳什均衡点的存在性。
• 提出两种分布式基于收益的学习算法，传感器根据自身历史收益与动作记录更新策略。
• 采用递减的探索率以构造非时齐马尔可夫链，使分析可超越独立同分布假设。
• 利用随机稳定性理论与抵抗树分析，刻画学习过程的长期行为。
• 应用遍历性系数及弱/强遍历性条件，证明收敛至不变分布。
• 借助扰动理论与随机势函数，识别出学习动态极限的随机稳定状态集合。

实验结果

研究问题

• RQ1 仅依赖局部收益与动作记忆的分布式学习算法，能否在移动视觉传感器网络中实现收敛至纳什均衡点？
• RQ2 如何将基于收益的学习方法适配至具有时变探索率的非同质马尔可夫链？
• RQ3 在何种条件下可确保以概率收敛至覆盖性能度量的全局最优解？
• RQ4 引入递减探索率如何影响学习过程的遍历性与长期行为？
• RQ5 在所提出的学习除动态下，哪些均衡是随机稳定的？它们与最优覆盖配置之间有何关系？

主要发现

• 所提出的学习除算法以概率收敛至（受限）纳什均衡点集合，确保对单方面偏离的稳定性。
• 通过时间非齐次马尔可夫链模型建立收敛性，该模型支持递减探索率，相较于恒定率方案具有更优的收敛特性。
• 在涉及弱遍历性、不变测度存在性及特征向量变化可 summable 的条件下，学习除动态被证明为强遍历性。
• 随机稳定状态（即学习除动态的极限）为具有最小随机势的那些状态，对应于最优或近似最优的覆盖配置。
• 该框架支持去中心化运行，传感器无需知晓全局效用函数或他者的历史动作。
• 理论分析证实，学习除动态渐近遗忘初始状态，并收敛至唯一极限分布，其支撑集位于最优均衡点之上。