[论文解读] Lambda-Policy Iteration with Randomization for Contractive Models with Infinite Policies: Well-Posedness and Convergence (Extended Version)

Yuchao Li, Karl Henrik Johansson+1 more|arXiv (Cornell University)|Dec 18, 2019

Reinforcement Learning in Robotics参考文献 14被引用 4

一句话总结

该论文将随机化λ-策略迭代（λ-PIR）扩展至具有无限策略的收缩性马尔可夫决策过程，证明了λ-算子的良定性，并在较弱条件下建立了几乎必然收敛性。研究表明，当模型具有收缩性时，λ-PIR在无限策略空间中仍能保持收敛性，并提出了适用于受限线性和非线性控制问题的最优代价函数近似的数据驱动实现，展现出强劲的实验性能。

ABSTRACT

Abstract dynamic programming models are used to analyze $λ$-policy iteration with randomization algorithms. Particularly, contractive models with infinite policies are considered and it is shown that well-posedness of the $λ$-operator plays a central role in the algorithm. The operator is known to be well-posed for problems with finite states, but our analysis shows that it is also well-defined for the contractive models with infinite states studied. Similarly, the algorithm we analyze is known to converge for problems with finite policies, but we identify the conditions required to guarantee convergence with probability one when the policy space is infinite regardless of the number of states. Guided by the analysis, we exemplify a data-driven approximated implementation of the algorithm for estimation of optimal costs of constrained linear and nonlinear control problems. Numerical results indicate potentials of this method in practice.

研究动机与目标

• 将λ-策略迭代与随机化（λ-PIR）从有限策略扩展至无限策略的马尔可夫决策过程。
• 在具有无限状态和无限策略的收缩性模型中，建立λ-算子的良定性。
• 识别在策略空间为无限时，λ-PIR实现几乎必然收敛的充分条件。
• 在近似动态规划（ADP）框架内，开发一种适用于实时控制的、数据驱动的、近似化的λ-PIR实现方法。
• 通过数值实验在受限线性和非线性控制问题上验证该方法。

提出的方法

• 使用抽象动态规划模型分析λ-PIR，重点研究在无限状态、无限策略设定下λ-算子的性质。
• 证明在模型具有收缩性时，λ-算子是良定的，将有限状态情形的结果推广至更一般情况。
• 为无限策略问题中的λ-PIR引入收敛性条件，若问题具有线性结构，该条件可被放宽。
• 提出一种基于函数逼近（如参数化代价函数）的数据驱动近似方法，用于在线学习。
• 结合时序差分学习原理与邻近算法的洞察，以保持收敛性与稳定性。
• 将算法嵌入ADP框架中，采用带λ-正则化的迭代策略评估与改进。

实验结果

研究问题

• RQ1 在具有无限状态和无限策略的收缩性马尔可夫决策过程中，λ-算子是否良定？
• RQ2 当策略空间为不可数无限时，何种条件可确保λ-PIR的几乎必然收敛？
• RQ3 是否可有效将λ-PIR适配至无限策略问题，同时不损失收敛性保证？
• RQ4 如何实现一种适用于受限系统实时控制的、数据驱动的、近似化的λ-PIR？
• RQ5 所提方法在收敛速度与样本效率方面是否优于标准VI与OPI？

主要发现

• λ-算子在具有无限状态和无限策略的收缩性模型中是良定的，其成立仅依赖于底层模型的收缩性。
• 即使策略空间为无限，只要满足一个较弱的附加条件，λ-PIR对最优代价函数的收敛性以概率1成立。
• 若问题具有线性结构，该收敛条件可被移除，从而简化理论要求。
• 数值结果表明，λ-PIR的数据驱动实现比标准值迭代（VI）和乐观策略迭代（OPI）收敛更快，控制性能更优。
• 在线性和非线性控制示例中，估计的代价函数仅经5次迭代即收敛，闭环系统性能显著提升。
• 该方法有效结合了邻近算法的快速收敛性与值迭代的稳定性，在样本效率方面优于OPI。