[论文解读] Convex Q-Learning, Part 1: Deterministic Optimal Control

Prashant G. Mehta, Sean Meyn|arXiv (Cornell University)|Aug 8, 2020

Reinforcement Learning in Robotics参考文献 61被引用 4

一句话总结

本文提出凸Q-learning，一种用于确定性最优控制的新型强化学习算法，将Q函数逼近问题形式化为凸优化问题。通过过参数化和约束条件使贝尔曼方程凸化，确保了收敛性和稳定性——为非凸方法（如DQN）提供了一个可证明一致的替代方案，尽管后者在经验行为上相似，但缺乏理论保证。

ABSTRACT

It is well known that the extension of Watkins' algorithm to general function approximation settings is challenging: does the projected Bellman equation have a solution? If so, is the solution useful in the sense of generating a good policy? And, if the preceding questions are answered in the affirmative, is the algorithm consistent? These questions are unanswered even in the special case of Q-function approximations that are linear in the parameter. The challenge seems paradoxical, given the long history of convex analytic approaches to dynamic programming. The paper begins with a brief survey of linear programming approaches to optimal control, leading to a particular over parameterization that lends itself to applications in reinforcement learning. The main conclusions are summarized as follows: (i) The new class of convex Q-learning algorithms is introduced based on the convex relaxation of the Bellman equation. Convergence is established under general conditions, including a linear function approximation for the Q-function. (ii) A batch implementation appears similar to the famed DQN algorithm (one engine behind AlphaZero). It is shown that in fact the algorithms are very different: while convex Q-learning solves a convex program that approximates the Bellman equation, theory for DQN is no stronger than for Watkins' algorithm with function approximation: (a) it is shown that both seek solutions to the same fixed point equation, and (b) the ODE approximations for the two algorithms coincide, and little is known about the stability of this ODE. These results are obtained for deterministic nonlinear systems with total cost criterion. Many extensions are proposed, including kernel implementation, and extension to MDP models.

研究动机与目标

• 解决Q-learning函数逼近中理论一致性不足的问题，尤其是在非线性系统中。
• 解决在使用线性函数逼近时，投影贝尔曼方程是否具有稳定且有用解的根本性挑战。
• 开发一种具有可证明收敛性的强化学习算法，并具备明确定义的优化目标。
• 通过利用动态规划的线性规划和二次规划形式，建立凸分析与强化学习之间的联系。
• 为适用于马尔可夫决策过程（MDPs）和基于核的函数逼近的凸强化学习算法奠定基础。

提出的方法

• 通过过参数化Q函数并施加确保Q ≥ J的约束条件（其中J为值函数），将贝尔曼方程形式化为凸规划问题。
• 采用贝尔曼方程的凸松弛，将非凸Q-learning问题转化为具有线性和二次约束的凸优化问题。
• 该算法采用批量学习方法，损失函数定义为均方贝尔曼误差，但优化过程受到约束以确保凸性和稳定性。
• 引入正性惩罚项和对参数的约束，以保持Q函数和值函数的非负性，确保物理和数学的一致性。
• 采用基于采样状态-动作对的伽辽金型松弛方法，强制在观测轨迹上贝尔曼误差非负。
• 利用标准凸求解器（如MATLAB中的quadprog）求解所得优化问题，即使在大量约束条件下（例如10^4个观测）也能有效运行。

实验结果

研究问题

• RQ1 在使用线性函数逼近时，投影贝尔曼方程是否有解？该解是否稳定且一致？
• RQ2 贝尔曼方程的凸松弛是否能导出具有可证明收敛性并收敛到有意义策略的强化学习算法？
• RQ3 在理论稳定性与ODE近似动力学方面，凸Q-learning与DQN相比如何？
• RQ4 该凸形式化能否扩展至使用凸概率测度族的随机策略MDP？
• RQ5 过参数化和约束施加在确保Q-learning问题的凸性和稳定性方面起到什么作用？

主要发现

• 所提出的凸Q-learning算法在一般条件下（包括线性函数逼近）均可收敛，且具有可证明的一致性。
• 该算法被证明求解一个近似贝尔曼方程的凸规划问题，而DQN虽具有相似的ODE近似，却缺乏理论保证。
• 凸Q-learning与DQN均寻求同一固定点方程的解，且具有相同的ODE近似，但凸Q-learning具备稳定且凸的优化框架。
• 实验结果表明，凸Q-learning在使用二次基函数时优于基线方法，尤其在状态转移等复杂区域能更准确捕捉真实值函数。
• 该方法成功处理了复杂约束和大规模数据（例如10^4个观测），利用标准凸求解器在消费级笔记本电脑上一小时内实现收敛。
• 通过松弛约束并利用观测轨迹的实证约束，确保贝尔曼误差在所有样本上均非负，从而提升了鲁棒性和稳定性。