[논문 리뷰] Generalized discounted continuous-time Markov decision processes

Xianping Guo, Yi Zhang|arXiv (Cornell University)|2013. 04. 11.

Economic Policies and Impacts인용 수 3

한 줄 요약

이 논문은 상태에 의존하는 또는 영일 할인 인자와 함께 비유계 전이율과 보상율을 허용하는 폴란드 공간에서의 일반화된 할인 연속시간 마코프 결정과정(CTMDP)을 해결하기 위한 변환 방법을 제안한다. 이는 총 할인되지 않은 기준의 분석을 가능하게 하며, 역사에 의존하지 않는 클래스 외부에서 결정적(비제약) 및 랜덤화된(제약) 정적 최적 정책의 존재를 확립하고, 비제약 케이스에 대한 최적성 방정식을 제시한다.

ABSTRACT

This article investigates the generalized discounted criteria for possibly explosive continuous-time Markov decision processes (CTMDPs) in Polish spaces with unbounded transition and reward rates, which allow the discount factors to be state-dependent and zero-valued, and thus cover the otherwise underdeveloped total undiscounted criteria for non-absorbing CTMDPs. Nontrivially, we, under very mild conditions, develop the transformation method, which reduces our CTMDP problems to their discrete-time analogues, and then show the existence of a deterministic (resp., randomized) stationary optimal policy for the unconstrained (resp., constrained) CTMDPs, where the optimality is out of the class of history-dependent policies. Moreover, the optimality equation for the unconstrained case is also established. Quite differently from the case of standard discounted CTMDPs with a constant discount factor, we show that the transformation method could be inapplicable to the concerned CTMDPs with generalized discount factors when our conditions are violated.

연구 동기 및 목표

• 비흡수 연속시간 마코프 결정과정에서 총 할인되지 않은 기준에 대한 이론적 기초가 부족한 문제를 해결하기 위해.
• CTMDP 이론을 비유계 전이율과 보상율을 허용하도록 확장하기 위해.
• 미약한 조건 하에서 연속시간 문제를 이산시간 유사체로 환원하는 변환 방법을 개발하기 위해.
• 비제약 및 제약 CTMDP에 대해 각각 결정적 및 랜덤화된 정적 최적 정책의 존재를 확립하기 위해.
• 비제약 일반화된 할인 연속시간 마코프 결정과정 케이스에 대한 최적성 방정식을 유도하기 위해.

제안 방법

• 상태에 의존하는 또는 영일 할인 인자를 갖는 일반화된 할인 연속시간 마코프 결정과정을 등가의 이산시간 MDP로 매핑하는 변환 방법을 제안한다.
• 환원이 타당하고 최적성이 유지되도록 미약한 조건 하에서 변환을 적용한다.
• 비제약 케이스에 대한 최적성 방정식을 유도하기 위해 동적 프rogram밍 원리를 사용한다.
• 역사에 의존하지 않는 정적 정책의 클래스 내에서 최적 정책의 존재를 확립한다.
• 가정이 위반될 경우 변환 방법이 실패하는 구조적 조건을 분석한다.
• 비유계 전이율과 일반 상태 공간을 다루기 위해 폴란드 공간에서의 측도 이론적 도구에 의존한다.

실험 결과

연구 질문

• RQ1 상태에 의존하는 또는 영일 할인 인자를 갖는 일반화된 할인 연속시간 마코프 결정과정이 어떤 조건에서 이산시간 MDP로 환원될 수 있는가?
• RQ2 비유계 전이율과 보상율을 갖는 비제약 CTMDP에 대해 결정적 정적 최적 정책이 존재하는가?
• RQ3 동일한 조건 하에서 제약 CTMDP에 대해 랜덤화된 정적 최적 정책을 보장할 수 있는가?
• RQ4 비제약 일반화된 할인 연속시간 마코프 결정과정에 대한 최적성 방정식의 형태는 무엇인가?
• RQ5 왜 미약한 조건이 위반될 경우 변환 방법이 실패하는가?

주요 결과

• 상태에 의존하는 또는 영일 할인 인자를 갖는 일반화된 할인 연속시간 마코프 결정과정을 미약한 조건 하에서 이산시간 유사체로 환원하는 변환 방법이 개발되었다.
• 비유계 전이율을 갖는 비제약 CTMDP에 대해 결정적 정적 최적 정책의 존재가 증명되었다.
• 동일한 프레임워크 하에서 제약 CTMDP에 대해 랜덤화된 정적 최적 정책이 확립되었다.
• 비제약 케이스에 대해 최적성 방정식이 도출되었으며, 이는 고전적 결과를 일반화된 할인에까지 확장한다.
• 변환 방법이 미약한 조건이 위반될 경우 적용 불가능한 것으로 밝혀졌으며, 이는 이러한 가정의 필수성을 강조한다.
• 상수 할인 인자를 갖는 표준 할인 연속시간 마코프 결정과정의 결과가 이전에 개발되지 않은 더 넓은 케이스로 일반화되었다.