[论文解读] Bounds for Tracking Error in Constant Stepsize Stochastic Approximation

Bhumesh Kumar, Vivek S. Borkar+1 more|arXiv (Cornell University)|Feb 21, 2018

Target Tracking and Data Fusion in Sensor Networks被引用 1

一句话总结

本文为常步长随机逼近算法在追踪缓慢时变目标时，建立了非渐近的跟踪误差界。通过使用Alekseev非线性常数变分公式，推导出一个适用于所有有限时间的统一时间误差界，为在线学习和自适应控制系统提供了严格的性能保证。

ABSTRACT

This work revisits the constant stepsize stochastic approximation algorithm for tracking a slowly moving target and obtains a bound for the tracking error that is valid for all time, using the Alekseev non-linear variation of constants formula.

研究动机与目标

• 解决常步长随机逼近在追踪缓慢时变目标时缺乏有限时间性能界的问题。
• 提供一个适用于所有时间的严格、统一时间的误差界，而非仅渐近或稳态行为。
• 通过先进的微分方程工具，拓展对非独立同分布及时变条件下随机逼近理论的理解。
• 为自适应控制、在线学习和信号处理等实际应用提供理论基础，这些应用中跟踪性能至关重要。

提出的方法

• 应用Alekseev非线性常数变分公式，分析随机逼近过程与其确定性对应物之间的偏差。
• 将跟踪误差建模为随机轨迹与时变目标之间的差值，将噪声视为扰动。
• 通过利用漂移函数的利普希茨连续性以及目标的缓慢变化，推导出期望跟踪误差的界。
• 采用时变李雅普诺夫函数方法，控制误差随时间的演化。
• 建立一个依赖于步长、目标变化速率和噪声特性的误差界。
• 结合随机微分方程与扰动理论的结果，得出非渐近的、统一时间的误差界。

实验结果

研究问题

• RQ1 常步长随机逼近算法在所有有限时间范围内可实现的最大期望跟踪误差是多少？
• RQ2 误差界如何依赖于步长、目标变化速率和噪声水平？
• RQ3 能否利用非线性分析工具，为在缓慢时变目标下随机逼近推导出统一时间的误差界？
• RQ4 与经典鞅方法或李雅普诺夫方法相比，Alekseev公式在跟踪误差表征方面有多大的改进？
• RQ5 是否能够通过有限时域分析，量化常步长方案中跟踪精度与收敛速度之间的权衡？

主要发现

• 本文推导出一个非渐近的、统一时间的期望跟踪误差界，该界对所有有限时间实例均成立。
• 该界与步长和目标变化速率呈线性关系，与噪声幅值呈二次关系。
• 在漂移函数和目标时变性满足弱正则性条件时，该误差界依然有效。
• 使用Alekseev公式使得对误差动态的刻画比标准线性化技术更为精确。
• 该结果为实际跟踪应用中步长选择提供了理论依据，尤其在收敛速度与跟踪精度均至关重要的场景中。
• 即使目标缓慢但非周期性变化，该界依然有效，扩展了其在现实世界非平稳环境中的适用性。