[论文解读] A Primal-Dual Approach to Constrained Markov Decision Processes

Yi Chen, Jing Dong+1 more|arXiv (Cornell University)|Jan 26, 2021

Reinforcement Learning in Robotics参考文献 40被引用 15

一句话总结

本文提出了一种基于采样的原始-对偶算法，用于求解约束型马尔可夫决策过程（CMDPs），结合正则化策略迭代与次梯度上升以维持约束。该算法实现了 $ O(\log(T)/\sqrt{T}) $ 的收敛速率，在多产品库存和多类别队列调度任务中显著优于现有最先进启发式方法，在高折扣率下成本降低最高达21%。

ABSTRACT

In many operations management problems, we need to make decisions sequentially to minimize the cost while satisfying certain constraints. One modeling approach to study such problems is constrained Markov decision process (CMDP). When solving the CMDP to derive good operational policies, there are two key challenges: one is the prohibitively large state space and action space; the other is the hard-to-compute transition kernel. In this work, we develop a sampling-based primal-dual algorithm to solve CMDPs. Our approach alternatively applies regularized policy iteration to improve the policy and subgradient ascent to maintain the constraints. Under mild regularity conditions, we show that the algorithm converges at rate $ O(\log(T)/\sqrt{T})$, where T is the number of iterations. When the CMDP has a weakly coupled structure, our approach can substantially reduce the dimension of the problem through an embedded decomposition. We apply the algorithm to two important applications with weakly coupled structures: multi-product inventory management and multi-class queue scheduling, and show that it generates controls that outperform state-of-art heuristics.

研究动机与目标

• 为解决大规模状态空间与动作空间、且转移核未知的CMDPs所面临的计算挑战。
• 开发一种低成本、可扩展的算法，避免在每次迭代中进行完整的策略评估。
• 通过嵌入式分解与原始-对偶更新，实现对弱耦合CMDPs的高效求解。
• 在现实世界运筹管理应用中，通过实证验证其相对于现有启发式方法的优越性。
• 提供一个统一框架，整合正则化与对偶性，用于CMDP求解，并具备理论收敛保证。

提出的方法

• 采用原始-对偶方法，交替执行正则化策略迭代以改进策略，以及次梯度上升以更新拉格朗日乘子。
• 在策略改进步骤中应用KL正则化，使算法具备镜像下降的解释性，并实现稳定的策略更新。
• 在每次原始-对偶迭代中仅执行一次策略迭代，相比完整策略评估显著降低了计算成本。
• 利用弱耦合结构将CMDP分解为仅通过耦合约束相连的子问题，从而实现可扩展计算。
• 与近似动态规划技术（如蒙特卡洛策略评估与TD学习）相结合，提升实时适用性。
• 采用正则化贝尔曼算子框架，统一分析并证明该算法的收敛性。

实验结果

研究问题

• RQ1 仅在每次迭代中进行一次策略更新的原始-对偶算法，是否能在CMDPs中实现最优收敛速率？
• RQ2 在策略迭代中引入正则化，如何提升CMDP求解过程中的稳定性和收敛性？
• RQ3 在多大程度上可对弱耦合CMDPs进行分解，以降低计算复杂度？
• RQ4 在不同系统参数下，该算法与启发式策略相比，在成本性能方面表现如何？
• RQ5 在实际应用中，原始-对偶学习过程会涌现出何种结构性特征（例如基于阈值的策略）？

主要发现

• 该算法实现了 $ O(\log(T)/\sqrt{T}) $ 的收敛速率，在满足温和正则性条件下，与原始-对偶方法的最优速率一致。
• 在多类别队列调度中，与最大压强策略相比，该算法在高折扣率（$ \gamma = 0.99 $）下成本降低21%。
• 在多产品库存管理中，该算法优于修改后的 $ c\mu $-规则与修改后的最大小压强策略，尤其在高溢出成本下表现更优。
• 所学习的策略呈现出基于阈值的结构，即仅当队列长度超过与状态相关的阈值时才触发溢出。
• 当系统稳定性要求时，该算法能成功学习激进的溢出策略，优于那些仅在队列较大时才延迟溢出的策略。
• 该方法对未知转移核具有鲁棒性，并能通过弱耦合CMDP结构中的分解实现有效扩展。