[論文レビュー] Finite-Horizon Markov Decision Processes with State Constraints

Mahmoud El Chamie, Behçet Açıkmeşe|arXiv (Cornell University)|Jul 6, 2015

Optimization and Search Problems参考文献 21被引用数 4

ひとこと要約

本稿では、状態制約を満たす必要がある有限時限のマルコフ決定過程（MDP）に対して、非定常な確率的方策を計算する効率的な線形計画法（LP）ベースのアルゴリズムを提案する。この手法は、妥当性を保証し、期待される総報酬の計算可能な下限を提供する。双対性理論を用いて、制約なしMDP方策を妥当方策の凸集合に射影することで、最適性の保証を得られ、初期状態に依存しないオフライン計算が可能になる。

ABSTRACT

Markov Decision Processes (MDPs) have been used to formulate many decision-making problems in science and engineering. The objective is to synthesize the best decision (action selection) policies to maximize expected rewards (minimize costs) in a given stochastic dynamical environment. In many practical scenarios (multi-agent systems, telecommunication, queuing, etc.), the decision-making problem can have state constraints that must be satisfied, which leads to Constrained MDP (CMDP) problems. In the presence of such state constraints, the optimal policies can be very hard to characterize. This paper introduces a new approach for finding non-stationary randomized policies for finite-horizon CMDPs. An efficient algorithm based on Linear Programming (LP) and duality theory is proposed, which gives the convex set of feasible policies and ensures that the expected total reward is above a computable lower-bound. The resulting decision policy is a randomized policy, which is the projection of the unconstrained deterministic MDP policy on this convex set. To the best of our knowledge, this is the first result in state constrained MDPs to give an efficient algorithm for generating finite horizon randomized policies for CMDP with optimality guarantees. A simulation example of a swarm of autonomous agents running MDPs is also presented to demonstrate the proposed CMDP solution algorithm.

研究の動機と目的

• 状態制約を厳密に満たさなければならない有限時限MDPにおいて、妥当な意思決定方策を合成する課題に対処すること。
• 最適性の保証を得られる、制約付きMDP（CMDP）の非定常な確率的方策を生成する効率的なアルゴリズムを開発すること。
• 状態制約を満たしつつ、期待される総報酬が計算可能な下限を超えるように保証すること。
• 初期状態分布に依存しないオフライン方策計算を可能とし、大規模なマルチエージェントシステムをサポートすること。
• 性能保証を損なわずに、安全制約や運用制約をMDPフレームワークに統合すること。

提案手法

• 状態の確率分布に線形制約を課した有限時限MDPとしてCMDPを定式化し、すべての時刻 $ t $ に対して $ B\mathbf{x}_t \leq \mathbf{d} $ と表現する。
• 妥当なすべての確率的方策の凸集合上で最適化を実行するため、線形計画法を用いる。これにより制約の満たし方が保証される。
• 凸最適化における双対性理論を応用し、妥当方策の期待される総報酬の下限を導出する。
• 制約なしMDPの最適決定的方策を、妥当方策集合に射影することで確率的方策を生成する。
• 現在の状態と時刻に依存する行動の確率分布として方策を構築し、非定常性を保証する。
• LPを事前にオフラインで解くことで、方策が初期状態分布に依存せず、マルチエージェントシステムに適した形で実装可能になる。

実験結果

リサーチクエスチョン

• RQ1 状態制約を伴う有限時限CMDPに対して、妥当な確率的方策を計算する効率的アルゴリズムを開発できるか？
• RQ2 このような制約下でも、期待される総報酬が計算可能な下限を超えるように保証できるか？
• RQ3 制約環境下で、制約なしMDP方策と妥当方策集合との間にどのような関係があるか？
• RQ4 提案手法は、制約を満たしつつ、制約なし最適解に近い性能を維持できるか？
• RQ5 方策をオフラインで計算し、異なる初期状態に対して一様に適用可能になるか？

主な発見

• 提案されたLPベースのアルゴリズムは、シミュレーションの全時刻において、すべての状態制約を満たす妥当な確率的方策を効果的に生成した。
• 制約付き方策は、制約なしMDPの最適報酬の90％以内の期待総報酬を達成し、高い性能維持を示した。
• 双対性理論を用いて導出された報酬の下限は、正であり計算可能であり、性能保証を提供する。
• 制約なしMDP方策は制約に違反する（例：ボックス4の密度が1.0に達し、0.5の上限を超える）が、提案手法はすべての密度を制限内に維持した。
• 制約が存在しない場合には標準的なMDP方策が回復されるため、古典的結果と整合性があることが確認された。
• 方策は初期状態分布に依存しないため、オフライン計算が可能であり、大規模なマルチエージェントシステムへの適用に適している。