[论文解读] Asymptotics of Constant Step Stochastic Approximations Involving Differential Inclusions

Pascal Bianchi, Walid Hachem+1 more|arXiv (Cornell University)|Dec 12, 2016

Markov Chains and Monte Carlo Methods被引用 1

一句话总结

本文通过带缩放参数 γ 的马尔可夫链研究常步长随机逼近，表明插值过程在狭窄收敛意义下趋近于具有上半连续、凸值映射的微分包含（DI）的解。在温和的漂移条件下，迭代序列收敛至 DI 的 Birkhoff 中心，确保长期稳定性和遍历行为，适用于非凸近端优化和排队模型。

ABSTRACT

We consider a Markov chain $(x_n)$ whose kernel is indexed by a scaling parameter $\gamma>0$, refered to as the step size. The aim is to analyze the behavior of the Markov chain in the doubly asymptotic regime where $n o\infty$ then $\gamma o 0$. First, under mild assumptions on the so-called drift of the Markov chain, we show that the interpolated process converges narrowly to the solutions of a Differential Inclusion (DI) involving an upper semicontinuous set-valued map with closed and convex values. Second, we provide verifiable conditions which ensure the stability of the iterates. Third, by putting the above results together, we establish the long run convergence of the iterates as $\gamma o 0$, to the Birkhoff center of the DI. The ergodic behavior of the iterates is also provided. Application examples are investigated. We apply our findings to 1) the problem of nonconvex proximal stochastic optimization and 2) a fluid model of parallel queues.

研究动机与目标

• 研究当 n→∞ 然后 γ→0 时，带缩放参数 γ 的马尔可夫链的渐近行为。
• 建立插值过程在狭窄收敛意义下趋近于微分包含（DI）解的条件。
• 推导随机逼近算法迭代序列的可验证稳定性条件。
• 证明当 γ→0 时，迭代序列收敛至 DI 的 Birkhoff 中心，确保长期收敛性。

提出的方法

• 将随机逼近建模为依赖于步长 γ 的马尔可夫链 (x_n)，其转移核随 γ 变化。
• 通过插值从离散时间马尔可夫链构造连续时间过程，以支持收敛性分析。
• 应用集值分析工具，证明插值过程在狭窄收敛意义下趋近于具有上半连续、闭集和凸值映射的微分包含解。
• 通过验证马尔可夫链漂移条件，建立迭代序列的稳定性。
• 利用微分包含理论和 Birkhoff 中心理论，证明当 γ→0 时，迭代序列收敛至 Birkhoff 中心。
• 将该框架应用于两个具体问题：非凸近端随机优化和并行队列的流体模型。

实验结果

研究问题

• RQ1 在何种条件下，常步长随机逼近的插值过程收敛至微分包含的解？
• RQ2 哪些可验证条件可确保常步长随机逼近框架中迭代序列的稳定性？
• RQ3 迭代序列的长期行为如何与微分包含的 Birkhoff 中心相关联？
• RQ4 所提出的框架能否应用于具有可证明收敛保证的非凸优化和排队系统？

主要发现

• 在温和的漂移假设下，插值过程在狭窄收敛意义下趋近于具有上半连续、闭集和凸值映射的微分包含解。
• 对漂移的可验证条件可确保随机逼近过程中迭代序列的稳定性。
• 当 γ→0 时，迭代序列收敛至微分包含的 Birkhoff 中心，确保长期收敛性。
• 迭代序列的遍历行为被刻画，表明其经验测度收敛至支撑在 Birkhoff 中心上的不变测度。
• 该框架成功应用于非凸近端随机优化，证明收敛至驻点。
• 并行队列的流体模型被分析，展示了该方法在具有复杂动态的排队系统中的适用性。