[論文レビュー] Model-Free Reinforcement Learning: from Clipped Pseudo-Regret to Sample Complexity

Zihan Zhang, Yuan Zhou+1 more|arXiv (Cornell University)|Jun 6, 2020

Reinforcement Learning in Robotics参考文献 24被引用数 13

ひとこと要約

本論文は、割引付き表形式MDPにおけるϵ-最適方策を学習するための、モデルフリー強化学習アルゴリズムUCB-MultiStage-Advantageを提示する。このアルゴリズムは、漸近的に最適なサンプル複雑度を達成し、S A ln(1/p)/(ϵ²(1−γ)³)のオーダーで、情報理論的下界に対して対数因子を除き一致する。また、Sおよびϵに依存する点で、従来のモデルフリーおよびモデルベース手法を上回る性能を示す。

ABSTRACT

In this paper we consider the problem of learning an $ε$-optimal policy for a discounted Markov Decision Process (MDP). Given an MDP with $S$ states, $A$ actions, the discount factor $γ\in (0,1)$, and an approximation threshold $ε> 0$, we provide a model-free algorithm to learn an $ε$-optimal policy with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{5.5}})$ (where the notation $ ilde{O}(\cdot)$ hides poly-logarithmic factors of $S,A,1/(1-γ)$, and $1/ε$) and success probability $(1-p)$. For small enough $ε$, we show an improved algorithm with sample complexity $ ilde{O}(\frac{SA\ln(1/p)}{ε^2(1-γ)^{3}})$. While the first bound improves upon all known model-free algorithms and model-based ones with tight dependence on $S$, our second algorithm beats all known sample complexity bounds and matches the information theoretic lower bound up to logarithmic factors.

研究の動機と目的

• ϵ-最適方策を学習するための、モデルフリーとモデルベース強化学習の間のサンプル複雑度のギャップを埋めること。
• S, A, ϵ, (1−γ) に最適な依存関係を達成しつつ、O(SA)の空間計算量と1ステップあたりO(1)の時間計算量を満たすモデルフリーアルゴリズムを設計すること。
• 割引付きMDPにおけるサンプル複雑度の情報理論的下界に、対数因子を除き一致すること。
• 既存のモデルフリー手法が示す悪くないϵおよび(1−γ)依存関係（例：先行研究におけるÕ(SA/ϵ⁴(1−γ)⁸)）を改善すること。

提案手法

• 上界信頼区間を用いて探索と活用のバランスを取る、モデルフリーのアルゴリズムUCB-MultiStage-Advantageを提案する。
• 高確率でQ値推定を改善するためのマルチステージ価値推定フレームワークを採用する。
• 推定値の最適値からの累積的偏差を制限するために、クリッピングされた疑似リグレット解析を導入する。
• 推定誤差を複数の成分（M₁からM₄）に分解することで、バイアスと分散を制御する。
• 大きな推定誤差の影響を制限するクリッピング機構を適用し、収束の安定性を確保する。
• 状態・行動の訪問回数と信頼区間を用いた階層的探索戦略を採用して学習を導く。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのアルゴリズムは、割引付きMDPにおけるϵ-最適方策を学習するにあたり、情報理論的下界に一致するサンプル複雑度を達成できるか？
• RQ2 モデルフリー強化学習における、サンプル複雑度のS, A, ϵ, (1−γ) に対する最適な依存関係は何か？
• RQ3 O(SA)の空間計算量と1ステップあたりO(1)の時間計算量を満たすモデルフリーのアルゴリズムは、近似的に最適なサンプル複雑度を達成できるか？
• RQ4 クリッピングされた疑似リグレット解析は、モデルフリーQ学習の変種の収束速度を制限するためにどのように役立つか？
• RQ5 探索と価値推定戦略の精緻化によって、既存のモデルフリー手法にどのような改善を加えられるか？

主な発見

• 提案されたUCB-MultiStage-Advantageアルゴリズムは、高確率（1−p）でサンプル複雑度 Õ(SA ln(1/p)/(ϵ²(1−γ)³)) を達成し、情報理論的下界に対数因子を除き一致する。
• ϵが小さい場合、アルゴリズムのサンプル複雑度は Õ(SA ln(1/p)/(ϵ²(1−γ)³)) であり、Sおよびϵに依存する点で、既知のすべてのモデルフリーおよびモデルベース手法を上回る。
• アルゴリズムはO(SA)の空間計算量と1ステップあたりO(1)の時間計算量を維持しており、大規模MDPに適している。
• 分析から、クリッピングされた疑似リグレットは、推定誤差を制限し、ϵ-最適方策への収束を保証するための重要なツールであることが示された。
• 従来のモデルフリー手法（例：遅延Q学習（Õ(SA/ϵ⁴(1−γ)⁸)）や改善版Q学習（Õ(SA/ϵ²(1−γ)⁷)））を上回る性能を示した。
• 理論的枠組みにより、モデルフリーのアルゴリズムが漸近的に最適なサンプル複雑度を達成できることを示し、RL理論における長年の未解決問題を解決した。