[论文解读] Distributed adaptive steplength stochastic approximation schemes for Cartesian stochastic variational inequality problems

Farzad Yousefian, Angelia Nedić+1 more|arXiv (Cornell University)|Jan 8, 2013

Stochastic processes and financial applications参考文献 39被引用 8

一句话总结

本文提出了一种分布式自适应步长随机逼近算法，用于求解在不确定性下具有期望映射或受噪声污染的笛卡尔随机变分不等式问题。通过从问题参数（如单调性常数和Lipschitz常数）中推导步长，该方法确保了几乎必然收敛到唯一解；当这些常数未知时，引入一种局部随机化技术以近似Lipschitz常数，从而实现对近似解的收敛，且具有理论保证。

ABSTRACT

Motivated by problems arising in decentralized control problems and non-cooperative Nash games, we consider a class of strongly monotone Cartesian variational inequality (VI) problems, where the mappings either contain expectations or their evaluations are corrupted by error. Such complications are captured under the umbrella of Cartesian stochastic variational inequality problems and we consider solving such problems via stochastic approximation (SA) schemes. Specifically, we propose a scheme wherein the steplength sequence is derived by a rule that depends on problem parameters such as monotonicity and Lipschitz constants. The proposed scheme is seen to produce sequences that are guaranteed to converge almost surely to the unique solution of the problem. To cope with networked multi-agent generalizations, we provide requirements under which independently chosen steplength rules still possess desirable almost-sure convergence properties. In the second part of this paper, we consider a regime where Lipschitz constants on the map are either unavailable or difficult to derive. Here, we present a local randomization technique that allows for deriving an approximation of the original mapping, which is then shown to be Lipschitz continuous with a prescribed constant. Using this technique, we introduce a locally randomized SA algorithm and provide almost-sure convergence theory for the resulting sequence of iterates to an approximate solution of the original variational inequality problem. Finally, the paper concludes with some preliminary numerical results on a stochastic rate allocation problem and a stochastic Nash-Cournot game.

研究动机与目标

• 解决去中心化多智能体系统中涉及期望映射或受噪声污染的随机变分不等式问题。
• 开发一种基于问题参数（如单调性常数和Lipschitz常数）的自适应步长的分布式随机逼近方案。
• 在去中心化环境下，针对几乎必然收敛条件，提供所提方案的收敛性理论。
• 通过引入一种局部随机化技术，解决Lipschitz常数未知或难以计算的挑战，以确保近似Lipschitz连续性。
• 在真实问题（如随机速率分配和Nash-Cournot博弈）上验证所提方案，证明其相对于标准调和步长方案的鲁棒性。

提出的方法

• 所提方案采用一种递归步长规则，根据问题的强单调性和Lipschitz常数自适应调整，确保迭代序列几乎必然收敛到唯一解。
• 在分布式多智能体设置中，只要满足关于网络结构和步长序列的某些条件，该方法在独立步长规则下仍能保证收敛。
• 当Lipschitz常数不可用时，采用一种局部随机化技术，通过在有界集合上添加独立同分布的均匀噪声来扰动映射，从而获得具有指定常数的Lipschitz连续近似。
• 将随机化方案集成到分布式随机逼近框架中，每个智能体使用局部扰动后的映射和自适应步长进行更新。
• 理论分析证明，迭代序列几乎必然收敛到近似问题的解，且近似解序列收敛到原问题的真实解。
• 该方法应用于两个测试案例：随机速率分配问题和随机Nash-Cournot博弈，数值结果与调和步长方案进行了性能对比。

实验结果

研究问题

• RQ1 基于问题参数的自适应步长规则是否能确保在分布式随机逼近中对笛卡尔变分不等式实现几乎必然收敛？
• RQ2 当各智能体独立选择步长时，分布式多智能体方案如何保持收敛性？
• RQ3 当映射的Lipschitz常数未知或难以计算时，可行的替代方案是什么？
• RQ4 局部随机化技术能否对非Lipschitz映射生成具有指定常数的Lipschitz连续近似？
• RQ5 在实际随机均衡问题中，自适应步长方案相较于标准调和步长方案的性能表现如何？

主要发现

• 所提自适应步长方案确保了迭代序列几乎必然收敛到强单调笛卡尔随机变分不等式问题的唯一解。
• 在分布式设置中，只要满足关于网络和步长序列的适当条件，独立步长规则仍能保证几乎必然收敛。
• 局部随机化技术成功地对原始映射生成了具有指定常数的Lipschitz连续近似，即使原始映射本身不具备Lipschitz性质。
• 在随机速率分配问题上的数值结果表明，自适应分布式步长算法（DASA）在各种参数设置下显著低于调和步长方案（HSA）的误差。
• 在随机Nash-Cournot博弈中，DASA方案在置信区间更紧且在不同参数设置下更具鲁棒性，MCR-DASA方案的误差界优于MCR-HSA方案（θ=10）。
• MSR-DASA方案的置信区间紧致程度与MSR-HSA方案（θ=1）相当，且优于MSR-HSA方案（θ=10），展现出更优的鲁棒性与稳定性。