[论文解读] Distributed Time-Varying Stochastic Optimization and Utility-Based Communication

Andrea Simonetto, Leon Kester+1 more|arXiv (Cornell University)|Aug 22, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用 10

一句话总结

该论文提出了一种用于在网络中求解时变随机凸优化问题的分布式、异步随机 $\epsilon$-梯度算法，其中各节点使用局部不确定性的噪声且时变的概率密度函数（pdf）计算本地梯度。该方法引入基于效用的通信策略，仅在必要时触发pdf更新，从而减少冗余数据交换，确保收敛至依赖于步长 $\alpha$、$\epsilon$ 和问题可变性的误差界，并在强凸性和Lipschitz梯度假设下实现线性收敛速率。

ABSTRACT

We devise a distributed asynchronous stochastic epsilon-gradient-based algorithm to enable a network of computing and communicating nodes to solve a constrained discrete-time time-varying stochastic convex optimization problem. Each node updates its own decision variable only once every discrete time step. Under some assumptions (among which, strong convexity, Lipschitz continuity of the gradient, persistent excitation), we prove the algorithm's asymptotic convergence in expectation to an error bound whose size is related to the constant stepsize choice alpha, the variability in time of the optimization problem, and to the accuracy epsilon. Moreover, the convergence rate is linear. Then, we show how to compute locally stochastic epsilon-gradients that depend also on the time-varying noise probability density function (PDF) of the neighboring nodes, without requiring the neighbors to send such PDFs at each time step. We devise utility-based policies to allow each node to decide whether to send or not the most up-to-date PDF, which guarantee a given user-specified error level epsilon in the computation of the stochastic epsilon-gradient. Numerical simulations display the added value of the proposed approach and its relevance for estimation and control of time-varying processes and networked systems.

研究动机与目标

• 使分布式节点在通信受限且异步的条件下求解时变随机凸优化问题。
• 通过设计基于效用的策略减少通信开销，仅在必要时触发pdf更新以维持指定的误差水平 $\epsilon$。
• 确保在期望下实现线性收敛，收敛至依赖于步长 $\alpha$、$\epsilon$ 和时变问题动态的误差界。
• 允许每个节点仅使用本地可用信息和来自邻居的选择性通信pdf，计算本地随机 $\epsilon$-梯度。

提出的方法

• 为时变随机凸优化问题在节点网络上制定一种分布式、异步、固定步长的 $\epsilon$-梯度算法。
• 使用依赖于邻居节点不确定性时变pdf的本地随机 $\epsilon$-梯度，且无需传输完整pdf即可计算。
• 引入基于效用的通信策略，根据预期误差影响确定何时发送更新的pdf，以确保用户指定的 $\epsilon$ 精度。
• 采用基于李雅普诺夫的分析方法，证明在期望下渐近收敛至误差界，并在强凸性和Lipschitz梯度条件下实现线性收敛速率。
• 利用效用度量 $\mathcal{U}_{\mathrm{S}}$ 和 $\mathcal{U}_{\mathrm{R}}$ 将梯度估计误差与pdf及梯度函数的差异关联起来，实现误差传播的有界性。
• 应用Peter-Paul不等式以界定梯度估计误差，未来可通过优化实现更紧的界。

实验结果

研究问题

• RQ1 如何使分布式节点网络在最小通信开销下求解时变随机凸优化问题？
• RQ2 何种基于效用的通信策略可确保本地梯度估计保持在用户定义的误差容限 $\epsilon$ 内，而无需持续交换pdf？
• RQ3 在存在不确定分布的时变环境下，对异步、固定步长随机梯度方法可提供何种收敛保证？
• RQ4 梯度估计中的误差如何在网络中传播？在何种条件下可将该误差控制在已知水平？
• RQ5 在时变问题动态和异步更新条件下，能否在期望下实现线性收敛？

主要发现

• 所提算法在期望下实现线性收敛，收敛至依赖于固定步长 $\alpha$、误差容限 $\epsilon$ 和问题时变性的误差界。
• 误差界被显式表征为 $\alpha$、$\epsilon$ 和问题最优解随时间变化速率的函数。
• 基于效用的通信策略通过仅在必要时触发pdf更新，确保本地 $\epsilon$-梯度估计误差保持在 $\epsilon$ 以内。
• 收敛性分析表明，由于pdf过时或不准确导致的梯度估计误差，可通过依赖于pdf差异和梯度敏感性的效用度量 $\mathcal{U}_{\mathrm{S}}$ 和 $\mathcal{U}_{\mathrm{R}}$ 实现有界控制。
• 数值仿真验证了该算法在估计和控制时变过程方面的有效性，尤其适用于智能电网和协同控制等应用。
• 该方法在异步通信和时变不确定性分布下仍能保持收敛，且在强凸性和Lipschitz连续梯度条件下具备理论保证。