[論文レビュー] Tight Regret Bounds for Model-Based Reinforcement Learning with Greedy Policies

Yonathan Efroni, Nadav Merlis+2 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 37被引用数 12

ひとこと要約

本稿では、モデルベース強化学習におけるグリーディ方策（1ステップ計画）を用いることで、全計画（full-planning）と同等のきついレグレットバウンドを、有限ホライズンで割引なしのMDPで達成できることを示している。主な貢献は、リアルタイムダイナミックプログラミング（RTDP）の新規分析であり、これによりUCRL2-GPとEULER-GPが構築され、計算複雑性を$S$倍低減しながら$\tilde{O}(\sqrt{HSAT})$のレグレットバウンドを維持できるようになった。

ABSTRACT

State-of-the-art efficient model-based Reinforcement Learning (RL) algorithms typically act by iteratively solving empirical models, i.e., by performing \emph{full-planning} on Markov Decision Processes (MDPs) built by the gathered experience. In this paper, we focus on model-based RL in the finite-state finite-horizon MDP setting and establish that exploring with \emph{greedy policies} -- act by \emph{1-step planning} -- can achieve tight minimax performance in terms of regret, $ ilde{\mathcal{O}}(\sqrt{HSAT})$. Thus, full-planning in model-based RL can be avoided altogether without any performance degradation, and, by doing so, the computational complexity decreases by a factor of $S$. The results are based on a novel analysis of real-time dynamic programming, then extended to model-based RL. Specifically, we generalize existing algorithms that perform full-planning to such that act by 1-step planning. For these generalizations, we prove regret bounds with the same rate as their full-planning counterparts.

研究の動機と目的

• モデルベースRLアルゴリズムにおける全計画の高い計算コストを解消すること。
• 全計画ではなく1ステップ計画（グリーディ方策）を用いたモデルベースRLのレグレット保証を確立すること。
• グリーディ方策が、表形式の有限ホライズンMDPにおいて、全計画アルゴリズムと同等のミニマックスレグレットを達成できることを示すこと。
• UCRL2やEULERといった既存の全計画アルゴリズムを、1ステップ計画に一般化し、レグレットバウンドを保持すること。
• 性能保証に損なわれることなく、計算複雑性を$S$倍低減すること。

提案手法

• 既知のモデル下でのリアルタイムダイナミックプログラミング（RTDP）の新たな有限標本解析を、減少有界プロセスに焦点を当てて開発する。
• 減少有界プロセスのための濃度バウンドを導入し、これは独立に価値があるものであり、RTDP解析を支援する。
• UCRL2およびEULERアルゴリズムを、全計画の代わりにグリーディ方策（1ステップ計画）を用いるように変更し、UCRL2-GPおよびEULER-GPを構築する。
• 推定訪問頻度に基づいて状態行動ペアを分割するための新規な状態行動訪問閾値$L_k$を導入する。
• レグレット解析における期待逆訪問回数の制御に、コーシー・シュワルツと和のバウンドを適用する。
• グリーディ変種のレグレットが、全計画の対応するものと同程度（対数要因を除いて）のレグレットバウンドを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 モデルベースRLにおいて1ステップ計画（グリーディ方策）を用いることで、有限ホライズンMDPにおける全計画アルゴリズムと同等のレグレットバウンドを達成できるか？
• RQ2 全計画を1ステップ計画に置き換えた場合に、$\tilde{\mathcal{O}}(\sqrt{HSAT})$のきついレグレット保証を維持することは可能か？
• RQ3 モデルベースRLアルゴリズムにおいて、全計画を1ステップ計画に置き換えた際の計算複雑性の低減率はどの程度か？
• RQ4 既知のモデル下で、RTDPアルゴリズムに有限標本保証を適用でき、学習設定での利用を可能にする解析は可能か？
• RQ5 UCRL2およびEULERの計画ステップを1ステップグリーディ計画に置き換えても、そのレグレットバウンドを保持できるか？

主な発見

• 全計画ではなく1ステップグリーディ計画を用いるUCRL2-GPおよびEULER-GPは、全計画版と同等の$\tilde{\mathcal{O}}(\sqrt{HSAT})$のレグレットバウンドを達成する。
• モデルベースRLの計算複雑性は、全計画を1ステップ計画に置き換えることで、時間的および空間的複雑性の両方で$S$倍低減される。
• モデルベースRLにおいてきついレグレットバウンドを達成するには、全計画が必須ではなく、グリーディ方策と1ステップ計画で十分である。
• 既知のモデル下でのRTDP解析は、学習設定におけるレグレットバウンドの導出の基盤を提供し、減少有界プロセスに関する新たな濃度結果をもたらす。
• UCRL2-GPおよびEULER-GPは、UCRL2およびEULERと同等のレグレットレートを維持しながら、顕著に計算オーバーヘッドを低減する。
• $\tilde{\mathcal{O}}(\sqrt{HSAT})$のレグレットバウンドはタイトであり、表形式の有限ホライズンMDPにおける既知のミニマックス下界と一致する。