[논문 리뷰] A New Condition for the Existence of Optimal Stationary Policies in Denumerable State Average Cost Continuous Time Markov Decision Processes with Unbounded Cost and Transition Rates

Ping Cao, Jingui Xie|arXiv (Cornell University)|2015. 04. 22.

Fault Detection and Control Systems참고 문헌 7인용 수 3

한 줄 요약

이 논문은 비가산 상태의 연속시간 마르코프 결정과정(CTMDPs)에서 비유계 비용과 전이율을 가진 최적 정적 정책의 존재 조건을 제안한다. 주어진 정책 하에서 기준 상태로의 첫 번째 통과 시간과 비용의 기대값의 유한성과 최적 정책의 존재를 연결함으로써, 기존의 복잡한 함수 구축을 피하고 기존의 대기 시스템 안정성 결과를 활용하여 검증을 크게 단순화하며, 미묘한 조건 하에서도 평균 비용 최적성 방정식이 성립함을 보장한다.

ABSTRACT

This paper presents a new condition for the existence of optimal stationary policies in average-cost continuous-time Markov decision processes with unbounded cost and transition rates, arising from controlled queueing systems. This condition is closely related to the stability of queueing systems. It suggests that the proof of the stability can be exploited to verify the existence of an optimal stationary policy. This new condition is easier to verify than existing conditions. Moreover, several conditions are provided which suffice for the average-cost optimality equality to hold.

연구 동기 및 목표

• 비유계 비용과 전이율을 가진 연속시간 마르코프 결정과정에서 최적 정적 정책의 존재를 검증하는 데 도전하는 것.
• 기존의 함수 기반 접근 방식보다 검증이 더 쉬운 평균 비용 최적 정적 정책의 존재 조건을 개발하는 것.
• 최적 정책의 존재를 기반 대기 시스템의 안정성과 연결하여 기존의 안정성 분석 결과를 재사용할 수 있도록 하는 것.
• 평균 비용 최적성 방정식(ACOE)이 성립하는 충분한 조건을 설정하는 것.

제안 방법

• 주어진 정책 하에서 임의의 상태에서 기준 상태로의 기대 제1통과 시간과 기대 비용의 유한성에 기반한 새로운 존재 조건을 제안한다.
• 특히, 기대 제1통과 시간과 비용이 유한한 상태 i₀로의 i₀-표준 정책이라는 개념을 활용한다.
• 전이율과 비용 함수를 포함한 부등식을 사용하여 지수 가중치를 적용한 리아푸노프 함수 방법을 통해 기대 비용의 유한성을 검증한다.
• 이론적으로 유니폼화 방법을 사용하지만, 이는 비유계 전이율의 경우 실패하므로 직접 CTMDP 분석에 초점을 맞춘다.
• 정책이 i₀-표준이면서 특정 드리프트 조건을 만족할 경우 평균 비용 최적성 부등식(ACOI)이 성립함을 증명한다.
• 유한한 활동 조건(각 상태에서 유한한 전이 수)이 만족될 경우, ACOE가 전역적으로 성립함을 설정한다.

실험 결과

연구 질문

• RQ1 복잡한 검증 함수를 구축하지 않고도 비유계 CTMDPs에서 최적 정적 정책의 존재를 확립할 수 있는가?
• RQ2 대기 이론에서의 시스템 안정성 결과를 얼마나 활용하여 CTMDPs에서 정책 최적성의 검증을 가능하게 할 수 있는가?
• RQ3 비유계 전이율과 비용을 가진 비가산 상태 CTMDPs에서 평균 비용 최적성 방정식(ACOE)이 성립하는 조건은 무엇인가?
• RQ4 첫 번째 통과 시간과 비용의 유한성 여부를 확인하는 것으로 검증을 단순화할 수 있는 조건이 존재하는가?

주요 결과

• 최적 정적 정책 존재 조건은 기준 상태로의 기대 제1통과 시간과 기대 비용의 유한성에 기반하며, 이는 이전의 함수 기반 조건보다 검증이 더 쉽다.
• 이중 대기열 시스템에서 우선순위 서비스(PS) 정책이 0-표준 정책임을 증명하여, 새로운 조건 하에서의 최적성 확인함.
• PS 정책 하에서 원점으로의 기대 비용이 유한함을 지수 가중치를 적용한 리아푸노프 함수와 부등식 제약 조건을 통해 입증함.
• 정책이 i₀-표준이면서 각 상태에서 가능한 전이 수가 유한할 경우, 모든 상태에서 평균 비용 최적성 방정식(ACOE)이 성립함.
• 문제에 특화된 함수를 구축하지 않고도 기존의 대기 이론 안정성 결과를 재사용하여 정책 최적성을 확립할 수 있음.
• 비용 함수가 상태 벡터에 대해 증가하고 다항식일 경우에도 결과가 확장되어 적용 범위가 넓어짐.