[论文解读] Dynamics of stochastic approximation with Markov iterate-dependent noise with the stability of the iterates not ensured

Prasenjit Karmakar, Shalabh Bhatnagar|arXiv (Cornell University)|Jan 10, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用 5

一句话总结

本文为带有马尔可夫迭代依赖噪声的随机逼近建立了锁定概率框架，在噪声支持有界时给出下界，并在迭代渐近紧致时证明了几乎必然收敛。该框架使无需假设迭代先前稳定性的自适应算法中步长选择的样本复杂度估计成为可能。

ABSTRACT

This paper compiles several aspects of the dynamics of stochastic approximation algorithms with Markov iterate-dependent noise when the iterates are not known to be stable beforehand. We achieve the same by extending the lock-in probability (i.e. the probability of convergence to a specific attractor of the limiting o.d.e. given that the iterates are in its domain of attraction after a sufficiently large number of iterations (say) n0) framework to such recursions. Specifically, with the more restrictive assumption of Markov iterate-dependent noise supported on a bounded subset of the Euclidean space we give a lower bound for the lock-in probability. We use these results to prove almost sure convergence of the iterates to the specified attractor when the iterates satisfy an asymptotic tightness condition. This, in turn, helps in analyzing the tracking ability of general adaptive algorithms. Additionally, we show that our results can be used to derive a extit{sample complexity estimate} of such recursions, which then can be used for step-size selection.

研究动机与目标

• 将锁定概率框架扩展至具有马尔可夫迭代依赖噪声的随机逼近算法。
• 在噪声支持有界条件下，建立锁定概率的下界。
• 在迭代渐近紧致的假设下，证明几乎必然收敛。
• 为自适应算法中的步长选择推导样本复杂度估计。
• 分析在迭代动态不稳定条件下的通用自适应系统的跟踪性能。

提出的方法

• 将锁定概率概念扩展至噪声依赖于当前迭代的马尔可夫依赖噪声的递推关系。
• 对马尔可夫噪声施加有界支持假设，以确保对噪声行为的可测量概率控制。
• 利用极限常微分方程（ODE）框架分析随机递推的长期行为。
• 将渐近紧致性作为充分条件，以确保收敛至 ODE 的特定吸引子。
• 基于锁定概率下界推导样本复杂度估计，用于步长选择。
• 结合概率分析与基于 ODE 的稳定性理论，以处理非稳定迭代。

实验结果

研究问题

• RQ1 在马尔可夫迭代依赖噪声下，收敛至极限 ODE 特定吸引子的概率的下限是什么？
• RQ2 如何将锁定概率扩展至依赖于迭代的非独立同分布噪声的随机逼近？
• RQ3 当迭代并非预先稳定时，随机递推在何种条件下会以几乎必然方式收敛？
• RQ4 能否为这类递推关系推导出样本复杂度估计，以指导步长选择？
• RQ5 自适应算法的跟踪性能如何依赖于噪声结构和迭代动态？

主要发现

• 为在欧几里得空间有界子集上支持的具有马尔可夫迭代依赖噪声的随机逼近，建立了锁定概率的下界。
• 在迭代渐近紧致的假设下，证明了收敛至极限 ODE 特定吸引子的几乎必然收敛性。
• 所提出的框架使能够推导递推的样本复杂度估计，从而可指导步长选择。
• 该结果适用于在迭代动态不稳定条件下分析通用自适应算法的跟踪能力。
• 该方法无需预先了解迭代稳定性，从而扩大了在真实世界自适应系统中的适用范围。
• 该分析为在非独立同分布噪声环境中实现稳健的步长调优提供了理论基础。