[論文レビュー] Beyond the One Step Greedy Approach in Reinforcement Learning

Yonathan Efroni, Gal Dalal+2 more|arXiv (Cornell University)|Feb 10, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 12

ひとこと要約

この論文は強化学習における複数ステップのグリーディ方策改善の厳密な理論的枠組みを導入し、従来の1ステップ方策反復を一般化する$h$-PIおよび$\kappa$-PIアルゴリズムを提案する。最適方策への収束を証明し、最近の成功例であるAlpha-Go や PPO がこの統一的視点に含まれることを示し、方策改善における制御された先読みを用いることで、より高いサンプル効率と性能を実現する新たなRLアルゴリズムの設計に役立つ原理的な手法を提供する。

ABSTRACT

The famous Policy Iteration algorithm alternates between policy improvement and policy evaluation. Implementations of this algorithm with several variants of the latter evaluation stage, e.g, $n$-step and trace-based returns, have been analyzed in previous works. However, the case of multiple-step lookahead policy improvement, despite the recent increase in empirical evidence of its strength, has to our knowledge not been carefully analyzed yet. In this work, we introduce the first such analysis. Namely, we formulate variants of multiple-step policy improvement, derive new algorithms using these definitions and prove their convergence. Moreover, we show that recent prominent Reinforcement Learning algorithms are, in fact, instances of our framework. We thus shed light on their empirical success and give a recipe for deriving new algorithms for future study.

研究の動機と目的

• 複数ステップのグリーディ方策改善の理論的分析が不足しているにもかかわらず、その優位性が強い実証的証拠によって示されているという問題に対処すること。
• 方策改善中に$h$ステップ先読みを行う$h$グリーディ方策を形式化し、分析すること。
• 1ステップと無限時間ホライズンのグリーディ方策改善の間を滑らかに補間する連続的パラメータ$\kappa \in [0,1]$を導入し、先読み深さの滑らかなトレードオフを可能にすること。
• モンテカルロツリー探索を用いたAlpha-Go や PPO といった最近の強化学習の実績的成功事例を、1つの理論的枠組みで統一すること。
• 制御された方策改善深さに基づいて、新たな収束性が保証されたRLアルゴリズムを導出するための手順を提供すること。

提案手法

• 1ステップグリーディ方策を一般化する$h$ステップ先読み価値推定に基づいて行動を選択する$h$グリーディ方策を定義する。
• $h$ステップ方策改善と方策評価を交互に繰り返す$h$-PIアルゴリズムを提案し、最適方策への収束を証明する。
• $\kappa$で制御される新しい最適ベルマン作用素を用いて$\kappa$グリーディ方策を導入し、$\kappa=0$で1ステップグリーディが回復され、$\kappa=1$で最適方策が得られることを示す。
• 計算上の$\kappa$グリーディ方策が、標準的な価値反復を用いて効率的に計算可能な$\kappa\gamma$割引静的MDPの解法に等価であることを示す。
• $\kappa$に基づく改善と$\lambda$リラクスト評価を組み合わせた$\kappa\lambda$-PIを導入し、$\kappa$（改善深さ）と$\lambda$（評価深さ）の役割を明確に区別する。
• 収縮性の議論と作用素解析を用いて、すべての提案アルゴリズムの理論的収束保証を確立し、近似誤差と方策価値の減衰に関する境界を示す。

実験結果

リサーチクエスチョン

• RQ1 複数ステップのグリーディ方策改善は、厳密に分析され、最適方策への収束が保証されるか？
• RQ2 連続的パラメータ$\kappa$を理論的に整合性を持って用いて、1ステップと無限時間ホライズンのグリーディ方策改善の間を補間することは可能か？
• RQ3 最近の高性能なRLアルゴリズム、たとえばAlpha-Go や PPO は、提案された$\kappa$グリーディフレームワークが捉える原理にどれほど依存しているか？
• RQ4 方策反復において、$\kappa$（改善深さ）と$\lambda$（評価深さ）の理論的役割にどのような違いがあるか？
• RQ5 提案されたフレームワークを用いて、より高いサンプル効率を実現する新たな収束性が保証されたRLアルゴリズムを導出できるか？

主な発見

• $h$-PIアルゴリズムは、任意の有限$h \geq 1$に対して最適方策への収束が保証される。
• $\kappa$グリーディ方策が$\kappa\gamma$割引MDPの解法に等価であることが示され、標準的な価値反復を用いて効率的に計算可能である。
• $\kappa$-PIアルゴリズムは最適方策への収束を示し、$\kappa=0$で標準的な1ステップグリーディが回復され、$\kappa=1$で最適方策が得られる。
• $\kappa\lambda$-PIアルゴリズムは$\kappa$に基づく改善と$\lambda$リラクスト評価を組み合わせ、改善深さと評価深さの役割が明確に分離されていることを示した。
• 実験結果では、$\kappa$および$h$の非自明な選択が、基本的な計画タスクにおいて標準的な1ステップ手法よりも優れた性能を示した。
• 理論的枠組みにより、Alpha-Go や PPO といった多様な強化学習の実績的成功事例が統一され、これらが方策改善において間接的に複数ステップ先読みを用いていることが示された。