[论文解读] CAQL: Continuous Action Q-Learning

Moonkyung Ryu, Yinlam Chow+3 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 48被引用 11

一句话总结

CAQL 提出了一种新颖的连续动作 Q-learning 方法，利用混合整数规划（MIP）最优求解最大 Q 问题，从而实现比基于近似的方法（如 CEM 或 GA）更优且更鲁棒的策略。通过结合基于 MIP 的优化与训练和推理加速技术（包括动态容差、对偶过滤、聚类以及策略推理的动作函数），该方法在高度约束的连续控制环境中实现了最先进性能。

ABSTRACT

Reinforcement learning (RL) with value-based methods (e.g., Q-learning) has shown success in a variety of domains such as games and recommender systems (RSs). When the action space is finite, these algorithms implicitly finds a policy by learning the optimal value function, which are often very efficient. However, one major challenge of extending Q-learning to tackle continuous-action RL problems is that obtaining optimal Bellman backup requires solving a continuous action-maximization (max-Q) problem. While it is common to restrict the parameterization of the Q-function to be concave in actions to simplify the max-Q problem, such a restriction might lead to performance degradation. Alternatively, when the Q-function is parameterized with a generic feed-forward neural network (NN), the max-Q problem can be NP-hard. In this work, we propose the CAQL method which minimizes the Bellman residual using Q-learning with one of several plug-and-play action optimizers. In particular, leveraging the strides of optimization theories in deep NN, we show that max-Q problem can be solved optimally with mixed-integer programming (MIP)---when the Q-function has sufficient representation power, this MIP-based optimization induces better policies and is more robust than counterparts, e.g., CEM or GA, that approximate the max-Q solution. To speed up training of CAQL, we develop three techniques, namely (i) dynamic tolerance, (ii) dual filtering, and (iii) clustering. To speed up inference of CAQL, we introduce the action function that concurrently learns the optimal policy. To demonstrate the efficiency of CAQL we compare it with state-of-the-art RL algorithms on benchmark continuous control problems that have different degrees of action constraints and show that CAQL significantly outperforms policy-based methods in heavily constrained environments.

研究动机与目标

• 为解决值函数强化学习中连续动作空间下的连续动作最大化（max-Q）问题。
• 克服通用神经网络参数化下凹性 Q 函数参数化和 NP 难问题的局限性。
• 开发一种鲁棒且最优的 max-Q 方法，以提升连续控制任务中的策略性能与泛化能力。
• 通过新颖的优化与算法技术，加速连续动作 Q-learning 中的训练与推理过程。
• 在高度约束的连续控制基准测试中展示所提方法的卓越性能。

提出的方法

• CAQL 将 max-Q 问题建模为混合整数规划（MIP），以最优方式求解，同时利用深度神经网络的表示能力。
• 采用基于 MIP 的优化方法最小化贝尔曼残差，确保在 Q-learning 更新过程中实现最优动作选择。
• 引入动态容差机制，通过允许在容差阈值内的近似解来减少 MIP 求解时间。
• 应用对偶过滤与聚类技术，通过过滤和分组相似状态来减少训练过程中的 MIP 求解次数。
• 在训练 Q-network 的同时学习一个动作函数，以实现无需重新求解 MIP 的快速推理。
• 该方法即插即用，兼容任意 Q-function 架构，可无缝集成至现有强化学习框架。

实验结果

研究问题

• RQ1 基于 MIP 的优化是否能在连续动作强化学习中比 CEM 或 GA 等启发式近似方法更准确、更鲁棒地求解 max-Q 问题？
• RQ2 在具有复杂动作约束的连续控制任务中，使用 MIP 求解 max-Q 是否能带来更好的策略性能？
• RQ3 能否通过算法加速技术使基于 MIP 的优化足够高效，以支持深度强化学习中的实际训练？
• RQ4 在高度约束环境中，CAQL 与最先进基于策略的方法相比表现如何？
• RQ5 能否有效学习一个动作函数，以实现在不牺牲策略质量的前提下实现快速推理？

主要发现

• CAQL 在高度约束的连续控制环境中显著优于基于策略的方法，展现出更优的样本效率与最终性能。
• 与依赖近似的 CEM 或 GA 相比，使用 MIP 求解 max-Q 能生成更鲁棒、更高质量的策略。
• 动态容差、对偶过滤与聚类技术通过减少冗余的 MIP 求解，显著降低了训练时间，且未损害策略质量。
• 所学习的动作函数实现了快速推理，消除了部署阶段在线求解 MIP 的需求。
• CAQL 在连续控制基准任务上实现了最先进性能，尤其在动作约束严格的环境中表现突出。
• 该方法在不同动作约束水平下均保持强大性能，证明了其泛化能力与鲁棒性。