[論文レビュー] A Unified Approach for Multi-step Temporal-Difference Learning with Eligibility Traces in Reinforcement Learning

Yang Long, Minhao Shi+3 more|arXiv (Cornell University)|Feb 9, 2018

Reinforcement Learning in Robotics参考文献 12被引用数 5

ひとこと要約

本稿では、マルチステップ時系列差分学習とエリギビリティトレースを統合することで、完全サンプリング（σ=1, Sarsa(λ)）と純粋期待値（σ=0, Qπ(λ)）の間で連続的なトレードオフを可能にする統合的アルゴリズム Q(σ,λ) を提案する。この手法は、極端なσ値よりも最適なσ値を用いることで、最適価値関数への収束がより速く、理論的収束保証と実験的検証により、中間のσ値を用いた場合に優れた性能を示す。

ABSTRACT

Recently, a new multi-step temporal learning algorithm, called $Q(σ)$, unifies $n$-step Tree-Backup (when $σ=0$) and $n$-step Sarsa (when $σ=1$) by introducing a sampling parameter $σ$. However, similar to other multi-step temporal-difference learning algorithms, $Q(σ)$ needs much memory consumption and computation time. Eligibility trace is an important mechanism to transform the off-line updates into efficient on-line ones which consume less memory and computation time. In this paper, we further develop the original $Q(σ)$, combine it with eligibility traces and propose a new algorithm, called $Q(σ,λ)$, in which $λ$ is trace-decay parameter. This idea unifies Sarsa$(λ)$ (when $σ=1$) and $Q^π(λ)$ (when $σ=0$). Furthermore, we give an upper error bound of $Q(σ,λ)$ policy evaluation algorithm. We prove that $Q(σ,λ)$ control algorithm can converge to the optimal value function exponentially. We also empirically compare it with conventional temporal-difference learning methods. Results show that, with an intermediate value of $σ$, $Q(σ,λ)$ creates a mixture of the existing algorithms that can learn the optimal value significantly faster than the extreme end ($σ=0$, or $1$).

研究の動機と目的

• Sarsa(λ) と Qπ(λ) を連続的サンプリングパラメータ σ を用いた統一フレームワークに統合すること。
• エリギビリティトレースを統合することで、マルチステップTD学習のメモリおよび計算コストを低減すること。
• 新しいアルゴリズムにおける方策評価の理論的収束性と誤差バウンディングを確立すること。
• 中間のσ値が σ=0 や σ=1 よりも学習速度および最終的性能で優れていることを実験的に検証すること。

提案手法

• 完全サンプリング（σ=1）と純粋期待値（σ=0）のアプローチを統合するためのミックスドサンプリング作用素を導入する。
• エリギビリティトレースと減衰パラメータ λ を組み合わせた、Q(σ) を拡張した新しいアルゴリズム Q(σ,λ) を提案する。
• エリギビリティトレースを用いることで、オフラインのマルチステップ手法と比較して、効率的なオンライン更新を可能にし、メモリおよび計算コストを削減する。
• やや弱い仮定の下で、Q(σ,λ) の方策評価バージョンの上界誤差バウンディングを導出する。
• 標準的な学習条件の下で、Q(σ,λ) の制御バージョンが最適価値関数 q* へ指数的収束することを証明する。
• 連続状態空間における関数近似にタイルコーディングを用い、実験では性能曲線の平滑化に移動平均を適用する。

実験結果

リサーチクエスチョン

• RQ1 エリギビリティトレースは、Q(σ)フレームワークと効果的に統合可能であり、計算コストを低減しつつ性能を維持できるか？
• RQ2 統合的 Q(σ,λ) アルゴリズムは、極端なσ値（σ=0 や σ=1）よりも、学習速度および最終的性能で優れているか？
• RQ3 Q(σ,λ) フレームワークにおける方策評価の理論的誤差バウンディングは何か？
• RQ4 標準的な学習条件の下で、Q(σ,λ) 制御アルゴリズムは最適価値関数 q* へ収束するか？

主な発見

• マウンテンカーモデル制御タスクにおいて、中間のσ値（例：σ=0.5）を用いた Q(σ,λ) は、σ=0 や σ=1 よりも顕著に高速な学習を達成した。
• 50エピソード後、Q(σ=0.5,λ) の平均リターンは -195.99 であった。これは Qπ(λ) の -193.56 や Sarsa(λ) の -196.84 よりも優れていた。
• 200エピソード後、Q(σ=0.5,λ) は平均リターン -143.71 を達成し、Qπ(λ) の -144.04 や Sarsa(λ) の -145.72 よりも優れていた。
• 動的σバージョン（σが0から1に変化）は、200エピソード後に平均リターン -142.62 を達成し、最も優れた最終的性能を示した。
• Q(σ,λ) 方策評価の上界誤差バウンディングが導出され、実験的に検証され、σが1から0に減少するにつれて誤差が減少することが示された。
• 理論的分析により、オンラインおよびオフラインの両方の Q(σ,λ) 制御アルゴリズムが、確率1で最適価値関数 q* へ収束することが証明された。