[论文解读] Distributed stochastic optimization via correlated scheduling

Michael J. Neely|arXiv (Cornell University)|Apr 29, 2013

Distributed Sensor Networks and Detection Algorithms参考文献 19被引用 5

一句话总结

本文提出了一种分布式随机优化框架，用户基于本地观测做出决策，通过共享伪随机序列关联动作，在约束条件下实现最优时间平均效用。关键贡献是一种最优算法，通过使用时变权重选择纯策略，即使信息共享有限，也能实现与集中式方案相当的性能。

ABSTRACT

This paper considers a problem where multiple users make repeated decisions based on their own observed events. The events and decisions at each time step determine the values of a utility function and a collection of penalty functions. The goal is to make distributed decisions over time to maximize time average utility subject to time average constraints on the penalties. An example is a collection of power constrained sensor nodes that repeatedly report their own observations to a fusion center. Maximum time average utility is fundamentally reduced because users do not know the events observed by others. Optimality is characterized for this distributed context. It is shown that optimality is achieved by correlating user decisions through a commonly known pseudorandom sequence. An optimal algorithm is developed that chooses pure strategies at each time step based on a set of time-varying weights.

研究动机与目标

• 解决在分布式多用户系统中最大化时间平均效用的挑战，其中每个用户仅能观测本地事件和动作。
• 刻画在部分信息条件下分布式决策的根本性能极限。
• 开发一种最优算法，实现在无全局知识的情况下与集中式方案相同的平均时间效用。
• 表明通过共同伪随机序列关联用户决策，可在分布式环境中实现最优性。

提出的方法

• 该算法使用时变权重向量，基于本地观测在每个时隙选择纯策略。
• 用户通过使用共同知晓的伪随机序列来关联其决策，实现在无直接通信情况下的动作对齐。
• 该方法采用适应分布式设置和本地信息的漂移加惩罚框架。
• 使用李雅普诺夫函数分析稳定性与性能，通过指数矩界控制队列增长。
• 该算法确保时间平均惩罚约束得以满足，同时最大化效用。
• 关键组成部分是使用精心选择的参数 r 来平衡效用与约束违反之间的权衡。

实验结果

研究问题

• RQ1 当用户仅能观测本地事件时，能否在分布式系统中实现与集中式优化器相同的平均时间效用？
• RQ2 在部分信息条件下，分布式随机优化的根本性能极限是什么？
• RQ3 用户如何在无直接通信的情况下关联其决策，以逼近集中式最优？
• RQ4 伪随机序列在实现最优分布式控制中起到什么作用？
• RQ5 基于李雅普诺夫的方法能否被调整以确保在分布式环境中同时实现效用最大化和约束满足？

主要发现

• 在分布式设置中，通过共享伪随机序列关联用户决策，可实现最优时间平均效用。
• 所提出的算法性能与集中式方案相当，表明在约束条件下分布式系统可实现相同的效用。
• 期望队列大小随时间亚线性增长，其上界为 O(log t / r)，其中 r 为调参。
• 该算法以高概率确保时间平均惩罚约束被满足。
• 通过使用指数矩界和李雅普诺夫分析，证明了稳定性和向最优解的收敛性。
• 该方法的性能差距在期望下随时间呈 O(1/t) 的尺度，随时间推移趋近最优。