[논문 리뷰] Discounted Continuous-time Markov Decision Processes with Unbounded Rates: the Dynamic Programming Approach

Alexey Piunovskiy, Yi Zhang|arXiv (Cornell University)|2011. 03. 01.

Reinforcement Learning in Robotics참고 문헌 21인용 수 9

한 줄 요약

이 논문은 Borel 상태 및 행동 공간에서 비유계 전이 및 비유계 비용률을 가진 연속시간 마르코프 결정과정(CTMDP)에 대해 결정론적 정적 최적 정책의 존재를 확립한다. Kitaev의 구성과 동적 프로그래밍을 활용하여, 제어된 과정이 정규적임을 증명하고, 최적 가치에 대해 벨먼 방정식이 성립함을 보이며, 컴act성-연속성 조건 하에서 비유계 비용률과 일반적인 비용 함수가 존재하더라도 최적 정책이 존재함을 증명한다.

ABSTRACT

This paper deals with unconstrained discounted continuous-time Markov decision processes in Borel state and action spaces. Under some conditions imposed on the primitives, allowing unbounded transition rates and unbounded (from both above and below) cost rates, we show the regularity of the controlled process, which ensures the underlying models to be well defined. Then we develop the dynamic programming approach by showing that the Bellman equation is satisfied (by the optimal value). Finally, under some compactness-continuity conditions, we obtain the existence of a deterministic stationary optimal policy out of the class of randomized history-dependent policies.

연구 동기 및 목표

• 비유계 전이 및 비용률을 가진 랜덤화된 역사에 의존하는 정책 하에서 제어된 과정의 정규성 확립.
• 비유계 비용률을 가진 할인 연속시간 MDP에 대한 동적 프로그래밍 접근법 개발.
• 원천의 일반 조건 하에서 최적 가치 함수가 벨먼 방정식을 만족함을 증명.
• 비유계 비용률과 전이율이 존재하더라도 결정론적 정적 최적 정책의 존재를 확립.
• 이전 결과를 확장하여 Borel 상태 및 행동 공간과 상하로 비유계 비용률을 허용함.

제안 방법

• 랜덤화된 역사에 의존하는 정책을 위한 CTMDP를 형식화하기 위해 Kitaev의 구성 사용.
• 제어된 과정의 정규성을 보장하기 위해 원천(전이율, 비용율, 행동 집합)에 조건 설정.
• 제어된 과정이 마르코프가 아니더라도, Dynkin의 공식과 콜모고로프의 전진 방정식을 적용하여 분석.
• 최적 가치 함수가 벨먼 방정식을 만족함을 보여 동적 프로그래밍 접근법 개발.
• 벨먼 방정식의 해 존재성을 증명하기 위해 변환된 가치 함수에 수축 사상 적용.
• 검증 추론을 사용하여 벨먼 방정식의 해가 최적 정책과 대응됨을 보임.

실험 결과

연구 질문

• RQ1 비유계 전이율과 비유계 비용률을 가진 연속시간 MDP에 대해 동적 프로그래밍 접근법을 엄밀하게 적용할 수 있는가?
• RQ2 원천에 대한 일반 조건 하에서 최적 가치 함수가 벨먼 방정식을 만족하는가?
• RQ3 비유계 전이율과 Borel 상태/행동 공간을 가진 CTMDP에서 결정론적 정적 최적 정책이 존재하는가?
• RQ4 Kitaev의 프레임워크를 통한 표준 CTMDP 구성은 비유계 전이율을 가진 랜덤화된 역사에 의존하는 정책으로 확장 가능한가?
• RQ5 이 일반 설정에서 벨먼 방정식의 해 존재성을 보장하는 원천에 대한 조건은 무엇인가?

주요 결과

• 모든 랜덤화된 역사에 의존하는 정책 하에서 제어된 과정은 정규적이며, 이는 모델이 잘 정의됨을 보장한다.
• 최적 가치 함수는 벨먼 방정식을 만족하며, 이는 동적 프로그래밍 접근법의 타당성을 검증한다.
• 원천에 대한 컴팩트성 및 연속성 조건 하에서 결정론적 정적 최적 정책이 존재한다.
• 벨먼 방정식의 해는 유계이며, 가중치 공간 $\mathbf{B}_{w'}(S)$ 내에 존재하여 적분 가능성 보장.
• 변환된 가치 함수에 대한 수축 사상에 의한 고정점 존재성 증명을 통해 해 존재성이 입증되었으며, 고정점에 대한 명시적 상한 제공.
• 최적 정책은 헤이지미-존슨-벨먼 방정식의 최소화자에서 유도되며, 예제에서 행동 선택의 명시적 형태 제공.