[논문 리뷰] Finite-Horizon Markov Decision Processes with State Constraints

Mahmoud El Chamie, Behçet Açıkmeşe|arXiv (Cornell University)|2015. 07. 06.

Optimization and Search Problems참고 문헌 21인용 수 4

한 줄 요약

이 논문은 유한한 시간 범위를 가진 마르코프 결정 과정(MDP)에서 상태 제약 조건을 만족시키는 비정적 랜덤화 정책을 계산하기 위해 효율적인 선형 프로그래밍(LP)-기반 알고리즘을 제안한다. 이 알고리즘은 타당성 보장을 제공하고 기대 총 보상에 대한 계산 가능한 하한을 보장한다. 방법은 이중성 이론을 활용해 비제약 MDP 정책을 타당 정책의 볼록 집합에 투영함으로써, 최적성 보장을 제공하고 초기 상태에 의존하지 않는 오프라인 계산을 가능하게 한다.

ABSTRACT

Markov Decision Processes (MDPs) have been used to formulate many decision-making problems in science and engineering. The objective is to synthesize the best decision (action selection) policies to maximize expected rewards (minimize costs) in a given stochastic dynamical environment. In many practical scenarios (multi-agent systems, telecommunication, queuing, etc.), the decision-making problem can have state constraints that must be satisfied, which leads to Constrained MDP (CMDP) problems. In the presence of such state constraints, the optimal policies can be very hard to characterize. This paper introduces a new approach for finding non-stationary randomized policies for finite-horizon CMDPs. An efficient algorithm based on Linear Programming (LP) and duality theory is proposed, which gives the convex set of feasible policies and ensures that the expected total reward is above a computable lower-bound. The resulting decision policy is a randomized policy, which is the projection of the unconstrained deterministic MDP policy on this convex set. To the best of our knowledge, this is the first result in state constrained MDPs to give an efficient algorithm for generating finite horizon randomized policies for CMDP with optimality guarantees. A simulation example of a swarm of autonomous agents running MDPs is also presented to demonstrate the proposed CMDP solution algorithm.

연구 동기 및 목표

• 유한한 시간 범위 MDP에서 상태 제약 조건을 엄격히 만족시켜야 하는 상황에서 타당한 의사결정 정책을 합성하는 데 도전하는 것.
• 제약 조건이 있는 MDP(CMDP)에 대해 최적성 보장을 갖는 비정적 랜덤화 정책을 생성하는 효율적인 알고리즘을 개발하는 것.
• 상태 제약 조건을 만족시키면서도 기대 총 보상이 계산 가능한 하한 이상 유지되도록 보장하는 것.
• 초기 시스템 상태에 의존하지 않는 오프라인 정책 계산을 가능하게 하여 대규모 다중 에이전트 시스템을 지원하는 것.
• 성능 보장 없이도 안전성 및 운영 제약 조건을 포함하는 MDP 프레임워크를 확장하는 것.

제안 방법

• 모든 시간 단계 $ t $ 에 대해 상태 확률 분포에 대한 선형 상태 제약 조건을 포함하는 유한한 시간 범위 MDP로 CMDP를 수식화하며, $ B\mathbf{x}_t \leq \mathbf{d} $ 로 표현한다.
• 타당한 랜덤화 정책의 모든 볼록 집합 위에서 최적화하기 위해 선형 프로그래밍을 사용하여 제약 조건 이행을 보장한다.
• 볼록 최적화의 이중성 이론을 적용하여 타당 정책의 기대 총 보상에 대한 하한을 유도한다.
• 비제약 MDP의 최적 결정 정책을 타당 정책 집합에 투영하여 랜덤화 정책을 생성한다.
• 현재 상태와 시간에 따라 달라지는 행동에 대한 확률 분포로 정책을 구성함으로써 비정적 성격을 보장한다.
• LP를 사전에 오프라인으로 해결하여 정책이 초기 상태 분포에 의존하지 않도록 하며, 다중 에이전트 시스템에 적합하게 한다.

실험 결과

연구 질문

• RQ1 상태 제약 조건이 있는 유한한 시간 범위 CMDP에 대해 타당한 랜덤화 정책을 계산하는 데 효율적인 알고리즘을 개발할 수 있는가?
• RQ2 이러한 제약 조건 하에서 기대 총 보상이 계산 가능한 하한 이상 유지될 수 있는가?
• RQ3 제약 조건이 있는 환경에서 비제약 MDP 정책과 타당 정책 집합 사이의 관계는 무엇인가?
• RQ4 제안된 방법이 제약 조건을 이행하면서도 비제약 최적 성능에 가까운 성능을 유지할 수 있는가?
• RQ5 정책을 오프라인으로 계산하여 다양한 초기 상태에 대해 균일하게 적용할 수 있는가?

주요 결과

• 제안된 LP 기반 알고리즘은 시뮬레이션 전 시간 단계에서 모든 상태 제약 조건을 만족하는 타당한 랜덤화 정책을 성공적으로 생성한다.
• 제약 조건이 있는 정책는 비제약 MDP의 최적 보상의 90% 이내의 기대 총 보상을 달성하여 뛰어난 성능 유지 능력을 입증한다.
• 이중성 이론을 통해 도출된 기대 보상 하한은 엄밀히 양수이며 계산 가능하여 성능 보장을 제공한다.
• 비제약 MDP 정책는 제약을 위반한다 — 예를 들어, 상자 4의 밀도가 1.0에 도달하여 0.5의 한도를 초과한다 — 반면 제안된 정책는 모든 밀도를 한도 내에 유지한다.
• 제약 조건이 없는 경우 표준 MDP 정책를 회복하여 고전적 결과와의 일관성을 확인한다.
• 정책은 초기 상태 분포에 의존하지 않아 오프라인 계산 및 대규모 다중 에이전트 시스템에의 구현이 가능하다.