[论文解读] Cyclic Stochastic Optimization: Generalizations, Convergence, and Applications in Multi-Agent Systems

Karla Hernández Cuevas|arXiv (Cornell University)|Jul 20, 2017

Simulation Techniques and Applications参考文献 1被引用 3

一句话总结

本文提出广义循环随机逼近（GCSA），一种随机优化的变体，其中参数子向量按循环或随机模式顺序更新。该文建立了GCSA的几乎必然收敛性和渐近正态性，推导出其相对于非循环SA的渐近相对效率的解析表达式，并在理论和数值上验证了该方法在多智能体随机优化问题中的应用。

ABSTRACT

Stochastic approximation (SA) is a powerful class of iterative algorithms for nonlinear root-finding that can be used for minimizing a loss function, $L(\boldsymbolθ)$, with respect to a parameter vector $\boldsymbolθ$, when only noisy observations of $L(\boldsymbolθ)$ or its gradient are available (through the natural connection between root-finding and minimization); SA algorithms can be thought of as stochastic line search methods where the entire parameter vector is updated at each iteration. The cyclic approach to SA is a variant of SA procedures where $\boldsymbolθ$ is divided into multiple subvectors that are updated one at a time in a cyclic manner. This dissertation focuses on studying the asymptotic properties of cyclic SA and of the generalized cyclic SA (GCSA) algorithm, a variant of cyclic SA where the subvector to update may be selected according to a random variable or according to a predetermined pattern, and where the noisy update direction can be based on the updates of any SA algorithm (e.g., stochastic gradient, Kiefer--Wolfowitz, or simultaneous perturbation SA). The convergence of GCSA, asymptotic normality of GCSA (related to rate of convergence), and efficiency of GCSA relative to its non-cyclic counterpart are investigated both analytically and numerically. Specifically, conditions are obtained for the convergence with probability one of the GCSA iterates and for the asymptotic normality of the normalized iterates of a special case of GCSA. Further, an analytic expression is given for the asymptotic relative efficiency (when efficiency is defined in terms of mean squared error) between a special case of GCSA and its non-cyclic counterpart. Finally, an application of the cyclic SA scheme to a multi-agent stochastic optimization problem is investigated. This dissertation also contains two appendices.

研究动机与目标

• 分析在噪声观测下，循环随机逼近（SA）算法在参数优化中的渐近行为。
• 将循环SA框架推广，以允许基于随机或模式的子向量选择以及灵活的更新方向。
• 建立所提出的广义循环SA（GCSA）算法的几乎必然收敛性和渐近正态性。
• 推导GCSA相对于其非循环对应方法的渐近相对效率的解析表达式。
• 展示循环SA框架在多智能体随机优化设置中的应用。

提出的方法

• GCSA算法将参数向量θ划分为子向量，并按循环或随机顺序依次更新。
• 在每次迭代中，基于随机变量或固定模式选择一个子向量，并使用带噪声的梯度估计进行更新。
• 该方法支持多种随机梯度估计技术，包括Kiefer–Wolfowitz和同时扰动SA。
• 利用鞅差序列和李雅普诺夫函数技术进行收敛性分析。
• 在噪声和步长序列满足正则性条件的特殊情况下，推导出GCSA的渐近正态性。
• 通过均方误差量化效率，并推导出GCSA与非循环SA之间渐近相对效率的解析表达式。

实验结果

研究问题

• RQ1 在何种条件下，GCSA算法几乎必然收敛到最优参数向量？
• RQ2 在算法的特殊情况下，归一化GCSA迭代序列的渐近分布是什么？
• RQ3 GCSA相对于非循环SA的渐近相对效率在均方误差方面如何比较？
• RQ4 循环SA框架能否有效应用于多智能体随机优化问题？
• RQ5 采用子向量循环更新模式与全向量更新相比，其理论与数值影响是什么？

主要发现

• 在步长和噪声序列满足温和正则性条件时，GCSA迭代几乎必然收敛到最优参数向量。
• 对于GCSA的一个特殊情形，归一化迭代序列渐近服从正态分布，从而可对参数估计进行统计推断。
• 推导出GCSA与非循环SA之间渐近相对效率的解析表达式，量化了循环更新带来的性能提升。
• 数值结果验证了理论收敛性和效率增益，尤其在高维设置下表现显著。
• 循环SA框架成功应用于多智能体随机优化问题，展示了其可扩展性与鲁棒性。
• 所推导的效率表达式表明，当子向量更新能降低方差时，GCSA在均方误差方面可优于非循环SA。