[论文解读] Finite-Horizon Markov Decision Processes with State Constraints

Mahmoud El Chamie, Behçet Açıkmeşe|arXiv (Cornell University)|Jul 6, 2015

Optimization and Search Problems参考文献 21被引用 4

一句话总结

该论文提出了一种基于线性规划（LP）的高效算法，用于计算有限时域马尔可夫决策过程（MDPs）中满足状态约束的非时齐随机策略，确保可行性并提供可计算的期望总奖励下界。该方法利用对偶理论将无约束MDP策略投影到可行策略的凸集中，提供最优性保证，并实现与初始状态无关的离线计算。

ABSTRACT

Markov Decision Processes (MDPs) have been used to formulate many decision-making problems in science and engineering. The objective is to synthesize the best decision (action selection) policies to maximize expected rewards (minimize costs) in a given stochastic dynamical environment. In many practical scenarios (multi-agent systems, telecommunication, queuing, etc.), the decision-making problem can have state constraints that must be satisfied, which leads to Constrained MDP (CMDP) problems. In the presence of such state constraints, the optimal policies can be very hard to characterize. This paper introduces a new approach for finding non-stationary randomized policies for finite-horizon CMDPs. An efficient algorithm based on Linear Programming (LP) and duality theory is proposed, which gives the convex set of feasible policies and ensures that the expected total reward is above a computable lower-bound. The resulting decision policy is a randomized policy, which is the projection of the unconstrained deterministic MDP policy on this convex set. To the best of our knowledge, this is the first result in state constrained MDPs to give an efficient algorithm for generating finite horizon randomized policies for CMDP with optimality guarantees. A simulation example of a swarm of autonomous agents running MDPs is also presented to demonstrate the proposed CMDP solution algorithm.

研究动机与目标

• 解决在有限时域MDP中严格满足状态约束时合成可行决策策略的挑战。
• 开发一种高效算法，为具有最优性保证的约束MDP（CMDPs）生成非时齐随机策略。
• 在满足状态约束的前提下，确保期望总奖励保持在可计算的下界之上。
• 实现与初始系统状态分布无关的离线策略计算，支持大规模多智能体系统。
• 在不牺牲性能保证的前提下，将MDP框架扩展以包含安全性和操作约束。

提出的方法

• 将CMDP表述为具有状态概率分布线性约束的有限时域MDP，约束形式为对所有时间步 $ t $ 的 $ B\mathbf{x}_t \leq \mathbf{d} $。
• 使用线性规划在所有可行随机策略的凸集中进行优化，确保约束满足。
• 应用凸优化中的对偶理论，推导出可行策略的期望总奖励下界。
• 将无约束MDP的最优确定性策略投影到可行策略集中，以生成随机策略。
• 将策略构建为依赖于当前状态和时间的动作概率分布，确保非时齐性。
• 离线求解LP，使策略与初始状态分布无关，适用于多智能体系统。

实验结果

研究问题

• RQ1 能否开发一种高效算法，用于计算具有状态约束的有限时域CMDP的可行随机策略？
• RQ2 在这些约束下，如何保证期望总奖励保持在可计算的下界之上？
• RQ3 在约束环境中，无约束MDP策略与可行策略集之间存在何种关系？
• RQ4 所提出的方法能否在确保约束满足的同时，保持接近无约束最优的性能？
• RQ5 如何实现策略的离线计算，并在多智能体系统中统一应用于不同初始状态？

主要发现

• 所提出的基于LP的算法成功生成了在仿真所有时间步均满足所有状态约束的可行随机策略。
• 约束策略实现的总期望奖励达到无约束MDP最优奖励的90%以上，表现出优异的性能保留能力。
• 通过对偶理论推导出的期望奖励下界为严格正数且可计算，提供了性能保证。
• 无约束MDP策略违反约束——例如，第4号箱的密度达到1.0，超过0.5的上限——而所提策略始终保持所有密度在限制范围内。
• 在无约束条件下，该方法可恢复标准MDP策略，确认与经典结果的一致性。
• 策略与初始状态分布无关，支持离线计算和部署，适用于大规模多智能体系统。