[論文レビュー] Provably Efficient Reinforcement Learning for Discounted MDPs with Feature Mapping

Dongruo Zhou, Jiafan He+1 more|arXiv (Cornell University)|Jun 23, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 30

ひとこと要約

本論文は、線形カーネル遷移を持つ割引付きMDPに対して Upper-Confidence Linear Kernel Reinforcement Learning (UCLK) アルゴリズムを導入し、後悔を 1/略? 対応する下界を証明する near-optimality。

ABSTRACT

Modern tasks in reinforcement learning have large state and action spaces. To deal with them efficiently, one often uses predefined feature mapping to represent states and actions in a low-dimensional space. In this paper, we study reinforcement learning for discounted Markov Decision Processes (MDPs), where the transition kernel can be parameterized as a linear function of certain feature mapping. We propose a novel algorithm that makes use of the feature mapping and obtains a $ ilde O(d\sqrt{T}/(1-γ)^2)$ regret, where $d$ is the dimension of the feature space, $T$ is the time horizon and $γ$ is the discount factor of the MDP. To the best of our knowledge, this is the first polynomial regret bound without accessing the generative model or making strong assumptions such as ergodicity of the MDP. By constructing a special class of MDPs, we also show that for any algorithms, the regret is lower bounded by $Ω(d\sqrt{T}/(1-γ)^{1.5})$. Our upper and lower bound results together suggest that the proposed reinforcement learning algorithm is near-optimal up to a $(1-γ)^{-0.5}$ factor.

研究の動機と目的

• 特徴マッピングを用いて大規模な状態・行動空間にスケールする RL アルゴリズムの設計を、割引付きMDPにおいて動機づける。
• 遷移確率が既知の特徴写像と未知のパラメータに線形となる線形カーネルMDPを研究する。
• 生成モデルや遍歴性仮定なしに、ほぼ最適な値関数をオンラインで学習するアルゴリズムを開発する。
• 提案手法の最適性を、上界と下界のレグレットで確立する。

提案手法

• Upper-Confidence Linear Kernel Reinforcement Learning (UCLK) アルゴリズムを導入し、エポックを適応長で運用する。
• 各エポックで未知パラメータ \theta^* の正則化最小二乗推定量を定式化する。
• 推定量の周りに信頼集合 \mathcal{C}_k を構築し、\mathcal{C}_k \cap \mathcal{B} 上で Extended Value Iteration (EVI) を実行して Q_k を得る。
• 信頼集合内の適合パラメータ上で最大化することで Q_k を計算する EVI を用い、ほぼ最適な方策を得る。
• 統計行列 \Sigma_t と b_t をオンラインで更新し、\Sigma_t の行列式が倍増したときにエポックを切り替える。切替誤差を制御する。
• β と U の適切な選択の下で、後悔は高確率で \tilde{O}(d sqrt(T)/(1-\gamma)^2) になることを証明する。

実験結果

リサーチクエスチョン

• RQ1 割引付きMDP に対して、生成モデルや強い遍歴性仮定に頼らず、特徴マッピングを用いた証明可能な効率的なRLアルゴリズムを設計できるか。
• RQ2 信頼度を増強した計画法のような手法を用いた場合、線形カーネルMDP の後悔保証はどうなるか。
• RQ3 d、T、および割引因子 \gamma に対する最適依存性を特徴づくりの観点から、上界と下界はどこまで近づけられるか。

主な発見

• UCLK は線形カーネルMDP における最適値関数の学習に対して \tilde{O}(d sqrt(T)/(1-\gamma)^2) の後悔界を達成する。
• 後悔界は状態空間・行動空間の基数に依存せず、大規模問題へのスケーラビリティを強調する。
• 対応する問題依存的な下界があり、任意のアルゴリズムに対して後悔は少なくとも \Omega(d sqrt(T)/(1-\gamma)^{1.5}) であり、(1-\gamma)^{-0.5} の要因で調整される。
• 上界と下界を合わせると、d と T の面では UCLK のほぼ最適性が示され、\gamma に対しても (1-\gamma)^{-0.5} の要因までほぼ最適となる。
• これらの結果は、基底モデルの線形結合として表現可能な広いクラスのMDP に適用可能で、線形カーネルMDP フレームワークの下で複数の既存モデルを統合する。