[論文レビュー] Multi-step Reinforcement Learning: A Unifying Algorithm

Kristopher De Asis, J. Fernando Hernandez-Garcia+2 more|arXiv (Cornell University)|Mar 3, 2017

Reinforcement Learning in Robotics被引用数 18

ひとこと要約

本稿では、パラメータσを介して完全なサンプリング（Sarsa）と純粋な期待値（Expected Sarsa）の間を連続的に補間する、マルチステップ時系列差分（TD）強化学習の統合的アルゴリズムQ(σ)を提案する。実験では、オフポリシー予測および制御タスクにおいて、中間的なσ値が両極端よりも優れた性能を示し、動的σ適応により学習効率がさらに向上することを示している。

ABSTRACT

Unifying seemingly disparate algorithmic ideas to produce better performing algorithms has been a longstanding goal in reinforcement learning. As a primary example, TD($λ$) elegantly unifies one-step TD prediction with Monte Carlo methods through the use of eligibility traces and the trace-decay parameter $λ$. Currently, there are a multitude of algorithms that can be used to perform TD control, including Sarsa, $Q$-learning, and Expected Sarsa. These methods are often studied in the one-step case, but they can be extended across multiple time steps to achieve better performance. Each of these algorithms is seemingly distinct, and no one dominates the others for all problems. In this paper, we study a new multi-step action-value algorithm called $Q(σ)$ which unifies and generalizes these existing algorithms, while subsuming them as special cases. A new parameter, $σ$, is introduced to allow the degree of sampling performed by the algorithm at each step during its backup to be continuously varied, with Sarsa existing at one extreme (full sampling), and Expected Sarsa existing at the other (pure expectation). $Q(σ)$ is generally applicable to both on- and off-policy learning, but in this work we focus on experiments in the on-policy case. Our results show that an intermediate value of $σ$, which results in a mixture of the existing algorithms, performs better than either extreme. The mixture can also be varied dynamically which can result in even greater performance.

研究の動機と目的

• Sarsa、Expected Sarsa、Q-learningといった、異なるマルチステップTD制御アルゴリズムを、一つの汎用的フレームワークに統合すること。
• バックアップにおけるサンプリングと期待値の度合いを制御する連続的パラメータσを導入し、バイアス-バリアンスのトレードオフを滑らかに制御すること。
• 中間的なσ値が、オフポリシー学習において両極端（完全なサンプリングと純粋な期待値）よりも優れた性能を示すかどうかを実験的に評価すること。
• 学習の進行に応じてσを動的に変化させることによる利点を検討すること。

提案手法

• パラメータσ ∈ [0,1]を導入することで、Sarsa、Expected Sarsa、Q-learningを一般化するマルチステップ行動価値アルゴリズムQ(σ)を提案する。
• σ = 1のとき、Q(σ)は完全なサンプリング（Sarsaに類似）を実行する。σ = 0のとき、純粋な期待値の計算（Tree-backup方式）を実行する。
• 初期評価を目的として、エリギビリティトレースを用いない原子的nステップバックアップに焦点を当てる。
• 更新ルールは、即時のリターンに加え、次の行動のQ値とすべての行動における期待値の重み付き組み合わせをσで制御する。
• 標準的な仮定の下で、学習率αtと誤差項を用いた確率的プロセスを用いて、最適Q*関数への収束を証明する。
• 理論的分析を拡張し、σが固定または動的に調整される場合に、Q(σ)が最適行動価値関数にほとんど確実に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 連続的パラメータを用いて、Sarsa、Expected Sarsa、Q-learningといった既存のマルチステップTD制御手法を統合できるか？
• RQ2 0（純粋な期待値）と1（完全なサンプリング）の間の中間的なσ値が、オフポリシー設定において両極端よりも優れた性能を示すか？
• RQ3 学習中にσを動的に調整することで、固定σ値と比較して、より高いサンプル効率と収束速度が達成できるか？
• RQ4 バイアス-バリアンスのトレードオフが、表形式および関数近似設定の両方において、異なるσ値の下でどのように現れるか？

主な発見

• 予測タスクにおけるルート平均二乗（RMS）誤差の観点から、中間的な固定σ値が、Sarsa（σ = 1）とTree-backup（σ = 0）の両者を常に上回ることを確認した。
• 最適なσは、初期学習段階で低い値（低バリアンスを優先）であり、時間経過とともに上昇（バイアス低減）する傾向にあり、動的トレードオフが有益であることを示唆した。
• σの動的調整により、任意の固定σ値よりも収束が速く、漸近的誤差も低減された。これは、適応的制御が性能向上に寄与することを示している。
• 理論的分析により、標準的な学習率および方策の仮定の下で、Q(σ)が最適Q*関数にほとんど確実に収束することが確認された。
• アルゴリズムは、オンポリシー学習に加え、オフポリシー学習にも一般化可能であるが、初期の実験はオンポリシー問題に限定された。
• Q(σ)は、特殊ケースとして既存の手法を包含する：σ = 1でSarsa、σ = 0でTree-backup、特定の条件下で極限においてQ-learningを再現する。