[논문 리뷰] Asymptotic Optimality of Finite Approximations to Markov Decision Processes with General State and Action Spaces.

Naci Saldı, Serdar Yüksel외 1명|arXiv (Cornell University)|2015. 03. 08.

Markov Chains and Monte Carlo Methods참고 문헌 36인용 수 4

한 줄 요약

이 논문은 일반 Borel 상태 및 행동 공간을 가진 마르코프 결정 과정(MDP)에 대해 할인 및 평균 비용 기준 하에서 유한 상태 근사의 渐近 최적성(점점 더 최적 정책에 가까워지는 성질)을 확립한다. 미약한 조건 하에서, 유한 근사로부터 유도된 정적 정책은 최적 정책에 임의로 가까이 수렴하며, 정보 이론적 분석을 통해 명시적인 수렴 속도와 순서 최적성(최적의 수렴 속도)이 확인된다.

ABSTRACT

Calculating optimal policies is known to be computationally difficult for Markov decision processes with Borel state and action spaces and for partially observed Markov decision processes even with finite state and action spaces. This paper studies finite-state approximations of discrete time Markov decision processes with discounted and average costs and Borel state and action spaces. The stationary policies thus obtained are shown to approximate the optimal stationary policy with arbitrary precision under mild technical conditions. Under further assumptions, we obtain explicit rates of convergence bounds quantifying how the approximation improves as the size of the approximating finite state space increases. Using information theoretic arguments, the order optimality of the obtained rates of convergence is established for a large class of problems.

연구 동기 및 목표

• 할인 및 평균 비용 기준 하에서 일반 Borel 상태 및 행동 공간을 가진 MDP를 해결하는 데 있어 계산상의 비현실성 문제를 다루기 위해.
• 유한 상태 근사가 미약한 기술적 조건 하에서 최적 정책에 임의로 가까운 정적 정책을 도출할 수 있음을 보여주기 위해.
• 유한 상태 공간 크기가 증가함에 따라 향상 정도를 수량화할 수 있는 명시적인 수렴 속도를 유도하기 위해.
• 일반적인 문제 클래스에 대해 정보 이론적 추론을 사용하여 유도된 수렴 속도의 순서 최적성(즉, 일반적으로 더 빠른 속도는 이론적으로 불가능함)을 입증하기 위해.

제안 방법

• Borel 상태 및 행동 공간을 이산화하여 연속 상태 MDP의 유한 상태 근사를 구성하기 위해.
• 유한 근사로부터 유도된 정적 정책의 성질을 분석하여 최적 정책과의 유사도를 평가하기 위해.
• 유한 상태 공간 크기가 증가함에 따라 감소하는 하위최적성 갭(suboptimality gap)에 대한 명시적인 상한을 유도하기 위해.
• 유도된 수렴 속도가 일반적으로 더 빠른 속도로 개선될 수 없음을 보여주기 위해 정보 이론적 도구를 적용하여 수렴 속도의 순서 최적성을 증명하기 위해.
• 수렴과 속도 상한을 보장하기 위해 MDP의 구조(예: 연속성, 컴acts)에 대한 가정을 사용하기 위해.

실험 결과

연구 질문

• RQ1 일반 Borel 상태 및 행동 공간을 가진 MDP의 유한 상태 근사가 최적 정적 정책에 임의로 가까이 수렴할 수 있는가?
• RQ2 유한 상태 공간 크기가 증가함에 따라 하위최적성 갭의 명시적인 수렴 속도는 무엇인가?
• RQ3 유도된 수렴 속도는 순서 최적인가? 즉, 일반적인 문제 클래스에 대해 더 빠른 속도가 이론적으로 불가능한가?
• RQ4 정보 이론적 추론은 근사 방법에서 수렴 속도의 최적성에 어떻게 기여하는가?

주요 결과

• 일반 Borel 상태 및 행동 공간을 가진 MDP의 유한 상태 근사는 미약한 기술적 조건 하에서 최적 정책에 임의로 가까운 정적 정책을 도출한다.
• 하위최적성 갭에 대한 명시적인 상한이 유도되었으며, 이는 유한 상태 공간 크기가 증가함에 따라 오차가 감소함을 보여준다.
• 정보 이론적 추론을 통해 수렴 속도가 순서 최적임을 입증하였으며, 이는 일반적으로 더 빠른 속도로 개선될 수 없음을 의미한다.
• 결과는 할인 비용 기준과 평균 비용 기준 모두에 대해 성립하므로, 유한 근사 방법의 적용 범위가 넓어진다.