[논문 리뷰] On the Optimality of Sparse Model-Based Planning for Markov Decision Processes.

Alekh Agarwal, Sham M. Kakade외 1명|arXiv (Cornell University)|2019. 06. 10.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 생성 모델를 사용하여 할인된 마코프 결정 과정에서 희소 모델 기반 계획의 최대화 최적성( minimax optimality )을 확립한다. 새로운 흡수 가능한 MDP를 구성함으로써, N개의 샘플에서 구축된 경험 MDP에서 고정밀도 정책이 진정한 MDP에서 ϵ-최적 정책이 됨을 증명한다. 이는 오랫동안 남아있던 열린 문제를 해결하며, 모델 기반 방법이 모델 자유 방법의 최상의 비점근적 샘플 복잡도를 따라잡을 수 있음을 보여준다.

ABSTRACT

This work considers the sample complexity of obtaining an $\epsilon$-optimal policy in a discounted Markov Decision Process (MDP), given only access to a generative model. In this model, the learner accesses the underlying transition model via a sampling oracle that provides a sample of the next state, when given any state-action pair as input. In this work, we study the effectiveness of the most natural approach to model-based planning: we build the maximum likelihood estimate of the transition model in the from observations and then find an optimal policy in this empirical MDP. We ask arguably the most basic and unresolved question in model-based planning: is the naive plug-in approach, non-asymptotically, minimax optimal in the quality of the policy it finds, given a fixed sample size? With access to a generative model, we resolve this question in the strongest possible sense: our main result shows that \emph{any} high accuracy solution in the model constructed with $N$ samples, provides an $\epsilon$-optimal policy in the true underlying MDP. In comparison, all prior (non-asymptotically) minimax optimal results use model-free approaches, such as the Variance Reduced Q-value iteration algorithm (Sidford et al 2018), while the best known model-based results (e.g. Azar et al 2013) require larger sample sample sizes in their dependence on the planning horizon or the state space. Notably, we show that the model-based approach allows the use of \emph{any} efficient planning algorithm in the empirical MDP, which simplifies the algorithm design as this approach does not tie the algorithm to the sampling procedure. The core of our analysis is a novel absorbing MDP construction to address the statistical dependency issues that arise in the analysis of model-based planning approaches, a construction which may be helpful more generally.

연구 동기 및 목표

• 나이브 플러그인 모델 기반 계획 접근이 유한 샘플 설정에서 최대화 최적성인지 여부를 해결하기 위해.
• ϵ-최적 정책를 얻기 위한 샘플 복잡도 측면에서 모델 기반과 모델 자유 방법 간의 격차를 좁히기 위해.
• N개의 샘플로 훈련된 경험 MDP에서 효율적인 계획 알고리즘을 적용하면 진정한 MDP에서 ϵ-최적 정책를 얻을 수 있음을 보여주기 위해.
• 모델 기반 계획 분석에서 발생하는 통계적 종속성 문제를 새로운 MDP 구성으로 해결하기 위해.
• 모델 기반 계획이 최첨단 모델 자유 알고리즘과 동일한 비점근적 샘플 복잡도를 달성할 수 있음을 보여주기 위해.

제안 방법

• 모델 기반 계획 분석에서 통계적 종속성을 분리하기 위해 흡수 가능한 MDP를 구성한다.
• 생성 모델을 사용하여 각 상태-행동 쌍에서 N개의 샘플을 수집하고 전이 모델의 최대우도 추정치를 구축한다.
• 경험 MDP에 어떤 효율적인 계획 알고리즘을 적용하여 정책을 계산한다.
• 새로운 농도 집합 원리에 기반해 경험 MDP에서의 ϵ-최적 정책가 진정한 MDP에서 또한 ϵ-최적임을 증명한다.
• 흡수 가능한 MDP 구성으로 모델 추정에서 정책 성능으로의 오차 전파를 제한한다.
• 정보 이론적 하한선과 샘플 크기 의존성의 일치를 보여줌으로써 최대화 최적성을 확립한다.

실험 결과

연구 질문

• RQ1 플러그인 모델 기반 계획 접근이 유한 샘플 설정에서 최대화 최적성인지 여부?
• RQ2 모델 기반 계획이 모델 자유 방법과 동일한 비점근적 샘플 복잡도를 달성할 수 있는가?
• RQ3 모델 기반 계획 분석에서 발생하는 통계적 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ4 N개의 샘플에서 구축된 경험 MDP가 진정한 MDP에서 ϵ-최적 정책를 보장하는가?
• RQ5 일반 목적의 계획 알고리즘을 경험 MDP에 사용해도 샘플 복잡도가 손상되지 않는가?

주요 결과

• 제안된 모델 기반 접근은 할인된 MDP에서 ϵ-최적 정책를 얻기 위한 최대화 최적 샘플 복잡도를 달성한다.
• N개의 샘플이 주어진 상태에서 경험 MDP에서 고정밀도 정책를 계산하면, 진정한 MDP에서 ϵ-최적 정책가 보장된다.
• 이 방법은 분산 감소 Q-값 반복과 같은 최첨단 모델 자유 알고리즘의 최고 수준의 비점근적 샘플 복잡도를 따라잡는다.
• 흡수 가능한 MDP 구성은 모델 기반 계획 분석에서 통계적 종속성 문제를 성공적으로 해결한다.
• 이 방법은 경험 MDP에서 어떤 효율적인 계획 알고리즘을 사용할 수 있게 하여 알고리즘 설계를 단순화한다.
• 결과적으로 모델 기반 계획이 점근적이지 않은 영역에서 정보 이론적으로 최적임을 보여준다.