[论文解读] Conditions for Stability and Convergence of Set-Valued Stochastic Approximations: Applications to Approximate Value and Fixed point Iterations with Noise.

Arunselvan Ramaswamy, Shalabh Bhatnagar|arXiv (Cornell University)|Sep 14, 2017

Stochastic processes and financial applications被引用 1

一句话总结

本文通过显式构造的李雅普诺夫函数，建立了集合值随机逼近算法稳定性与收敛性的易于验证的充分条件。该研究首次对无模型设定下的近似值迭代和集合值映射的不动点迭代进行了无模型分析，显著弱化了先前的假设，同时确保了几乎必然收敛。

ABSTRACT

The main aim of this paper is the development of easily verifiable sufficient conditions for stability (almost sure boundedness) and convergence of stochastic approximation algorithms (SAAs) with set-valued mean-fields, a class of model-free algorithms that have become important in recent times. In this paper we provide a complete analysis of such algorithms under three different, yet related sets of sufficient conditions, based on the existence of an associated global/local Lyapunov function. Unlike previous Lyapunov function based approaches, we provide a simple recipe for explicitly constructing the Lyapunov function, needed for analysis. Our work builds on the works of Abounadi, Bertsekas and Borkar (2002), Munos (2005), and Ramaswamy and Bhatnagar (2016). An important motivation for the flavor of our assumptions comes from the need to understand dynamic programming and reinforcement learning algorithms, that use deep neural networks (DNNs) for function approximations and parameterizations. These algorithms are popularly known as deep learning algorithms. As an important application of our theory, we provide a complete analysis of the stochastic approximation counterpart of approximate value iteration (AVI), an important dynamic programming method designed to tackle Bellman's curse of dimensionality. Further, the assumptions involved are significantly weaker, easily verifiable and truly model-free. The theory presented in this paper is also used to develop and analyze the first SAA for finding fixed points of contractive set-valued maps.

研究动机与目标

• 为具有集合值均值场的随机逼近算法的几乎必然有界性与收敛性，建立易于验证的充分条件。
• 提供一种系统化的李雅普诺夫函数构造方法，以实现对复杂学习算法的实际分析。
• 分析近似值迭代（AVI）的随机逼近版本，解决无模型设定下贝尔曼的维数灾难问题。
• 将理论扩展至压缩型集合值映射的不动点迭代，首次提出此类随机逼近算法。
• 支持基于深度神经网络进行函数逼近的深度强化学习算法的分析。

提出的方法

• 基于李雅普诺夫函数分析，扩展了Abounadi等人（2002）、Munos（2005）以及Ramaswamy与Bhatnagar（2016）的前期工作。
• 提出了三组相关联的充分条件，基于全局或局部李雅普诺夫函数的存在性，以保证稳定性和收敛性。
• 提供了一种构造性方法，可显式构建所需的李雅普诺夫函数，从而在实践中简化验证过程。
• 将该框架应用于分析近似值迭代（AVI）的随机逼近版本，AVI是动态规划中的关键方法。
• 通过开发并分析首个用于寻找压缩型集合值映射不动点的随机逼近算法，将理论扩展至集合值映射。
• 确保假设更弱、更直观，且真正无模型，适用于基于深度学习的强化学习。

实验结果

研究问题

• RQ1 何种条件可确保具有集合值均值场的随机逼近算法的几乎必然有界性与收敛性？
• RQ2 如何显式构造李雅普诺夫函数，以验证此类算法的稳定性和收敛性？
• RQ3 所提出的框架能否用于分析近似值迭代的随机逼近版本？
• RQ4 在无模型设定下，集合值更新中收敛所需的最小且可验证假设是什么？
• RQ5 是否可能开发并分析一种用于压缩型集合值映射不动点的随机逼近算法？

主要发现

• 本文通过显式可构造的李雅普诺夫函数，建立了集合值随机逼近算法几乎必然收敛的充分条件。
• 所提出的条件显著弱于先前方法，且更易于验证，从而具备更广泛的应用潜力。
• 该框架成功分析了近似值迭代（AVI）的随机逼近版本，AVI是动态规划中的核心方法。
• 该理论首次实现了用于计算压缩型集合值映射不动点的无模型随机逼近算法。
• 该方法为构造李雅普诺夫函数提供了实用的步骤，克服了复杂学习算法稳定性分析中的关键瓶颈。
• 研究结果为使用深度神经网络进行函数逼近的深度强化学习算法提供了理论基础。