[論文レビュー] Reward-Free Model-Based Reinforcement Learning with Linear Function Approximation

Weitong Zhang, Dongruo Zhou+1 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics参考文献 25被引用数 6

ひとこと要約

本稿では、報酬フリー設定下でのエピソード的線形混合MDPに対して、証明可能に効率的なモデルベース強化学習アルゴリズムであるUCRL-RFEおよびUCRL-RFE+を提案する。探索を促進する報酬関数と擬似価値関数を用いることで、UCRL-RFEは$Õ(H^5 d^2 \epsilon^{-2})$のサンプル複雑度を達成する。一方、UCRL-RFE+はベイジアン型ボーナスを用いることで、この複雑度を$Õ(H^4 d(H+d) \epsilon^{-2})$まで改善し、$H \geq d$のとき情報理論的下界と一致する。これらの結果により、線形関数近似を用いた報酬フリー強化学習におけるタイトなサンプル複雑度バウンドが確立される。

ABSTRACT

We study the model-based reward-free reinforcement learning with linear function approximation for episodic Markov decision processes (MDPs). In this setting, the agent works in two phases. In the exploration phase, the agent interacts with the environment and collects samples without the reward. In the planning phase, the agent is given a specific reward function and uses samples collected from the exploration phase to learn a good policy. We propose a new provably efficient algorithm, called UCRL-RFE under the Linear Mixture MDP assumption, where the transition probability kernel of the MDP can be parameterized by a linear function over certain feature mappings defined on the triplet of state, action, and next state. We show that to obtain an $ε$-optimal policy for arbitrary reward function, UCRL-RFE needs to sample at most $ ilde{\mathcal{O}}(H^5d^2ε^{-2})$ episodes during the exploration phase. Here, $H$ is the length of the episode, $d$ is the dimension of the feature mapping. We also propose a variant of UCRL-RFE using Bernstein-type bonus and show that it needs to sample at most $ ilde{\mathcal{O}}(H^4d(H + d)ε^{-2})$ to achieve an $ε$-optimal policy. By constructing a special class of linear Mixture MDPs, we also prove that for any reward-free algorithm, it needs to sample at least $ ilde Ω(H^2dε^{-2})$ episodes to obtain an $ε$-optimal policy. Our upper bound matches the lower bound in terms of the dependence on $ε$ and the dependence on $d$ if $H \ge d$.

研究の動機と目的

• 報酬関数が繰り返し変更される際の従来の強化学習のサンプル非効率性を解消するため、探索と報酬を分離する報酬フリーな枠組みを提案すること。
• 特に線形混合MDP仮定下での線形関数近似を用いたモデルベース強化学習の統計的効率性を調査すること。
• 線形関数近似を用いた報酬フリー強化学習におけるサンプル複雑度の上界と下界のギャップを解消すること。
• 任意の報酬関数に対して近似的に最適なサンプル複雑度を達成するとともに、証明可能に効率的なアルゴリズムを設計すること。

提案手法

• 線形混合MDPにおける探索を効果的に行うために、新しい探索駆動型報酬関数と擬似価値関数を提案する。
• 自信区間に基づく探索ボーナスを用いた、UCRLスタイルのアルゴリズムUCRL-RFEを設計する。
• 過剰な探索を抑えるためにベイジアン型ボーナスを用いたUCRL-RFE+という変種を導入する。
• 全分散解析を活用して推定誤差をバウンドし、よりタイトなサンプル複雑度保証を導出する。
• サンプル複雑度の一致する下界を示すために、特別なクラスの線形混合MDPを構築する。
• ファノの不等式とKL発散の分解を用いて、報酬フリー強化学習における情報理論的限界を確立する。

実験結果

リサーチクエスチョン

• RQ1 線形混合MDPにおける線形関数近似を用いたモデルベース報酬フリー強化学習の最適なサンプル複雑度は何か？
• RQ2 任意の報酬関数に対して近似的に最適なサンプル複雑度を達成するとともに、証明可能に効率的なアルゴリズムを設計できるか？
• RQ3 標準的な信頼区間ベースの探索と比較して、ベイジアン型ボーナスの使用がどのようにサンプル効率性を向上させるか？
• RQ4 任意の報酬フリーなアルゴリズムが$\epsilon$-最適方策を達成するために必要なエピソード数の情報理論的下界は何か？
• RQ5 ホライズン$H$、特徴次元$d$、精度$\epsilon$の各パラメータが、この設定におけるサンプル複雑度にどのように影響を与えるか？

主な発見

• UCRL-RFEは、任意の報酬フリー線形混合MDPにおいて、$\widetilde{\mathcal{O}}(H^5 d^2 \epsilon^{-2})$のサンプル複雑度を達成し、$\epsilon$-最適方策を学習可能である。
• UCRL-RFE+はベイジアン型ボーナスを用いることで、サンプル複雑度を$\widetilde{\mathcal{O}}(H^4 d(H+d) \epsilon^{-2})$まで低減し、UCRL-RFEよりも$\min\{H,d\}$の要因で改善される。
• 一致する下界$\widetilde{\Omega}(H^2 d \epsilon^{-2})$が証明され、$H \geq d$のときUCRL-RFE+が対数要因を除いて最適であることが示された。
• 提案された探索駆動型報酬関数と擬似価値関数は、線形混合MDPにおいて、高不確実性の状態行動ペアへの探索を効果的に誘導する。
• 解析により、上界における$H$および$d$の依存関係が$H \geq d$のとき下界と一致することが確認され、主要パラメータにおいてタイトであることが裏付けられた。
• 本稿は、線形混合MDP仮定下で、線形関数近似を用いたモデルベース報酬フリー強化学習に対して、初めての証明可能に効率的なアルゴリズムを確立した。