[논문 리뷰] Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal

Alekh Agarwal, Sham M. Kakade외 1명|arXiv (Cornell University)|2019. 06. 10.

Reinforcement Learning in Robotics참고 문헌 22인용 수 33

한 줄 요약

이 논문은 Generative 모델을 이용한 순진한 플러그인, 모델 기반 계획 접근법이 ε-최적 정책을 얻는 데 비점근적 미니맥스 최적임을 보이고, 샘플 및 계산 복잡성을 분석한다.

ABSTRACT

This work considers the sample and computational complexity of obtaining an $ε$-optimal policy in a discounted Markov Decision Process (MDP), given only access to a generative model. In this work, we study the effectiveness of the most natural plug-in approach to model-based planning: we build the maximum likelihood estimate of the transition model in the MDP from observations and then find an optimal policy in this empirical MDP. We ask arguably the most basic and unresolved question in model based planning: is the naive "plug-in" approach, non-asymptotically, minimax optimal in the quality of the policy it finds, given a fixed sample size? Here, the non-asymptotic regime refers to when the sample size is sublinear in the model size. With access to a generative model, we resolve this question in the strongest possible sense: our main result shows that \emph{any} high accuracy solution in the plug-in model constructed with $N$ samples, provides an $ε$-optimal policy in the true underlying MDP (where $ε$ is the minimax accuracy with $N$ samples at every state, action pair). In comparison, all prior (non-asymptotically) minimax optimal results use model free approaches, such as the Variance Reduced Q-value iteration algorithm (Sidford et al 2018), while the best known model-based results (e.g. Azar et al 2013) require larger sample sizes in their dependence on the planning horizon or the state space. Notably, we show that the model-based approach allows the use of \emph{any} efficient planning algorithm in the empirical MDP, which simplifies algorithm design as this approach does not tie the algorithm to the sampling procedure. The core of our analysis is avnovel "absorbing MDP" construction to address the statistical dependency issues that arise in the analysis of model-based planning approaches, a construction which may be helpful more generally.

연구 동기 및 목표

• 생성 모델을 사용하는 생성자(샘플링 오라클)가 상태-행동 쌍에 대해 다음 상태를 제공하는 설정에서, 단순한 플러그인 접근법(최대 우도에서 경험적 MDP를 구성하고 이를 계획하는 방식)이 이산 유한 할인된 MDP에서 ε-최적 정책에 대해 미니맥스 최적성(minimax optimal)인지 평가한다.
• explicit non-asymptotic 샘플 복잡도 경계를 도출하고 이를 이전의 모델 기반 및 모델-프리 결과와 비교한다.
• empirical MDP에서 ε-최적 계획이 높은 확률로 실제 MDP에서 ε-최적 정책으로 이어지는지, 서브선형 샘플 규칙 하에서 의존성의 제어가 가능한지 보인다.
• 분석의 의존성을 해소하기 위해 흡수형 MDP 구성을 개발하고, 그 잠재적 광범위한 적용 가능성을 보여준다.

제안 방법

• 샘플링 오라클이 상태-행동 쌍에 대해 다음 상태를 제공하는 생성 모델 설정을 형식화한다.
• 각 상태-행동 쌍에 대해 N 샘플로 이미 max-likelihood 추정치를 사용하여 전이 커널의 경험적 MDP를 구성한다.
• 임의의 최적화 오라클(예: 가치/정책 반복)을 실행하여 empirical MDP에서 ε_opt-최적 정책을 얻는다.
• N 샘플이 (s,a)당 N ≳ c log(...) /(1−γ)^3 ε^2 형태를 충족하면, M에서 얻은 정책은 Q^=Q^−* − ε − 9 ε_opt/(1−γ) 이상이며, V^=V^−* − ε − 9 ε_opt/(1−γ) 이상을 고확률로 만족한다.
• P와 가치 함수 사이의 의존성을 분리하고 추정 오차를 한도 내에 제어하기 위해 흡수형-MDP 구성을 활용한다.
• 전통적 계획 방법들(가치 반복, 정책 반복) 하에서의 계산 복잡도 및 거의 선형의 샘플 복잡도(|S||A|)에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 생성 모델을 이용한 플러그인 모델 기반 계획 접근법이 비점근적(non-asymptotic) 구간에서 미니맥스 최적 정책 품질을 달성하는가?
• RQ2 ε-최적 정책을 높은 확률로 얻기 위한 상태-행동 쌍당 필요한 샘플 복잡도는 얼마인가?
• RQ3 경험적 MDP 계획 오차가 실제 MDP 정책 성능으로 어떻게 번역되며, 의존성은 균등 수렴 폭발 없이 제어될 수 있는가?
• RQ4 흡수형-MDP 구성은 분석을 촉진하고 더 넓은 계획 맥락으로 일반화할 수 있는가?

주요 결과

• 실제 MDP에 대한 ε-최적 정책은 N이 γ log(|S||A|(1−γ)^{-1} δ^{-1}) / (1−γ)^3 ε^2에 비례하도록 충족될 때, 경험적 MDP의 ε-최적 계획으로부터 도출될 수 있다.
• 전체 샘플 복잡도는 O(|S||A| log(|S||A|/(1−γ)δ) / ((1−γ)^3 ε^2)) 이다.
• 결과는 empirical MDP에서 근사 최적 정책을 찾는 어떤 계획 알고리즘에도 적용되므로 알고리즘 설계에 있어 유연성을 시사한다.
• 이 모델 기반 결과는 ε ∈ (0,1] 구간에서 모델-프리 접근법으로 알려진 미니맥스 최적 속도와 일치하며, 비점근적으로도 모델 기반 계획이 미니맥스 최적이 될 수 있음을 보여준다.
• 흡수형-MDP 구성은 분석의 통계적 의존성 문제를 완화하고 이 설정을 넘어선 활용 가능성을 시사한다.