[論文レビュー] Model-Based Reinforcement Learning with a Generative Model is Minimax Optimal

Alekh Agarwal, Sham M. Kakade+1 more|arXiv (Cornell University)|Jun 10, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 33

ひとこと要約

この論文は、生成モデルを用いたナイーブなプラグイン型のモデルベース計画法が、ε-最適な方策を取得するための非漸近的ミニマックス最適性を有し、サンプルと計算複雑性を分析する。

ABSTRACT

This work considers the sample and computational complexity of obtaining an $ε$-optimal policy in a discounted Markov Decision Process (MDP), given only access to a generative model. In this work, we study the effectiveness of the most natural plug-in approach to model-based planning: we build the maximum likelihood estimate of the transition model in the MDP from observations and then find an optimal policy in this empirical MDP. We ask arguably the most basic and unresolved question in model based planning: is the naive "plug-in" approach, non-asymptotically, minimax optimal in the quality of the policy it finds, given a fixed sample size? Here, the non-asymptotic regime refers to when the sample size is sublinear in the model size. With access to a generative model, we resolve this question in the strongest possible sense: our main result shows that \emph{any} high accuracy solution in the plug-in model constructed with $N$ samples, provides an $ε$-optimal policy in the true underlying MDP (where $ε$ is the minimax accuracy with $N$ samples at every state, action pair). In comparison, all prior (non-asymptotically) minimax optimal results use model free approaches, such as the Variance Reduced Q-value iteration algorithm (Sidford et al 2018), while the best known model-based results (e.g. Azar et al 2013) require larger sample sizes in their dependence on the planning horizon or the state space. Notably, we show that the model-based approach allows the use of \emph{any} efficient planning algorithm in the empirical MDP, which simplifies algorithm design as this approach does not tie the algorithm to the sampling procedure. The core of our analysis is avnovel "absorbing MDP" construction to address the statistical dependency issues that arise in the analysis of model-based planning approaches, a construction which may be helpful more generally.

研究の動機と目的

• 評価: ナイーブなプラグインアプローチ（Nサンプルから最大尤度で経験的MDPを構築し、それを用いて計画する） が、生成モデルを備えた有限割引MDPにおけるε-最適な方策に対してミニマックス最適かどうかを評価する。
• 明示的な非漸近的サンプル複雑性界を導出し、既存のモデルベースおよびモデルフリーの結果と比較する。
• 経験的MDPのε-最適プランが、サンプル規模がサブ線形の場合でも真のMDPにおけるε-最適方策を生むことを示す。
• 解析の依存関係を扱うためのアブソーベングMDP構成を開発し、その潜在的な汎用適用性を示す。

提案手法

• 状態–行動ペアに対して次状態を提供するサンプリングオラクルを備えた生成モデル設定を定式化する。
• 遷移カーネルの最大尤度推定を用いて、各状態-行動ペアにつきNサンプルを用いて経験的MDPを構築する。
• 任意の最適化オラクル（例: 値/方策迭代）を実行して、経験的MDPでε_opt-最適な方策を得る。
• N
  b2 c log(...) / (1-)^{3} ε^2 samples per (s,a) are used, then the resulting policy in M satisfies Q^\ >= Q^\u2212* - ε - 9 ε_opt/(1-) and V^\ >= V^\u2212* - ε - 9 ε_opt/(1-) with high probability.
• アブソーベング-MDP構造を活用してPと価値関数間の依存性をデカップリングし、推定誤差を境界化する。
• 古典的なプランニング手法（値 iteration、ポリシー iteration）下の計算複雑性への影響と、|S||A| に対するほぼ線形のサンプル複雑性について議論する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを用いたプラグイン型モデルベース計画アプローチは、非漸近的な領域でミニマックス最適な方策品質を達成するか。
• RQ2 各状態-行動ペアに必要なサンプル複雑性は、ε-最適な方策を高い確率で得るためにはどれくらいか。
• RQ3 経験的MDPの計画誤差は真のMDPの方策性能にどのように翻訳されるか、依存関係をuniform収束の飛躍なしに制御できるか。
• RQ4 アブソーベング-MDP構築は解析を容易にし、より広い計画文脈へ一般化できるか。

主な発見

Algorithm	Sample Complexity	ε-Range	References
Phased Q-Learning	C |S||A| / (1- e)^{7} ε^{2}	(0,(1- e)^{-1}]	Kearns and Singh, (1999)
Empirical QVI	|S||A| / (1- e)^{5} ε^{2}	(0,1]	Azar et al., (2013)
Empirical QVI	|S||A| / (1- e)^{3} ε^{2}	(0, 1/ sqrt{(1- e)|S|}]	Azar et al., (2013)
Randomized Primal-Dual Method	C |S||A| / (1- e)^{4} ε^{2}	(0,(1- e)^{-1}]	Wang, (2017)
Sublinear Randomized Value Iteration	|S||A| / (1- e)^{4} ε^{2} * poly log ε^{-1}	(0,1]	Sidford et al., 2018b
Variance Reduced QVI	|S||A| / (1- e)^{3} ε^{2} * poly log ε^{-1}	(0,1]	Sidford et al., 2018a
Empirical MDP + any accurate black-box planner	|S||A| / (1- e)^{3} ε^{2}	(0,(1- e)^{-1/2}]	This work

• 真のMDPに対してε-最適な方策は、経験的MDPのε-最適なプランから得られる。N が c proportional to γ log(|S||A|(1-)^{-1} δ^{-1}) / (1-)^{3} ε^{2} に満たすとき。
• 総サンプル複雑性は O(|S||A| log(|S||A|/(1-)δ) / ((1-)^{3} ε^{2})).
• この結果は、ε ∈ (0,1] の領域でモデルフリー手法に対して既知のミニマックス最適速度と一致し、モデルベースの計画が非漸近的にミニマックス最適になり得ることを示す。
• アブソーベング-MDP構築は解析の統計的依存性の問題を緩和し、この設定を超えて有用かもしれない。
• このモデルベースの結果は、広い意味での計画文脈にも適用可能な分析の柔軟性を示す。