[論文レビュー] A First Empirical Study of Emphatic Temporal Difference Learning

Sina Ghiassian, Banafsheh Rafiee+1 more|arXiv (Cornell University)|May 11, 2017

Reinforcement Learning in Robotics参考文献 5被引用数 8

ひとこと要約

本稿は、修正されたマウンテンカーモデルを用いたオンポリシーおよびオフポリシー設定において、従来のTD(0)と比較して、強調的時系列差分学習（ETD）の最初の実験的評価を提示している。ETDは両設定においてTD(0)よりも優れた漸近的誤差性能を達成しており、『バウンス』効果が見られないが、オフポリシー状況では分散が高いため、より小さなステップサイズを必要とし、収束が遅くなる。

ABSTRACT

In this paper we present the first empirical study of the emphatic temporal-difference learning algorithm (ETD), comparing it with conventional temporal-difference learning, in particular, with linear TD(0), on on-policy and off-policy variations of the Mountain Car problem. The initial motivation for developing ETD was that it has good convergence properties under off-policy training (Sutton, Mahmood and White 2016), but it is also a new algorithm for the on-policy case. In both our on-policy and off-policy experiments, we found that each method converged to a characteristic asymptotic level of error, with ETD better than TD(0). TD(0) achieved a still lower error level temporarily before falling back to its higher asymptote, whereas ETD never showed this kind of "bounce". In the off-policy case (in which TD(0) is not guaranteed to converge), ETD was significantly slower.

研究の動機と目的

• 強化学習のオンポリシーおよびオフポリシー設定における強調的時系列差分学習（ETD）の性能を実験的に評価すること。
• 収束速度、漸近的誤差、および異なるステップサイズにおける安定性という観点から、ETDと標準的なTD(0)を比較すること。
• ETDがオフポリシー学習において理論的に保証される収束性が、実際のオンポリシー学習に対しても成り立つかを調査すること。
• ステップサイズの選定と学習ダイナミクスが誤差軌道に与える影響、特にETDにおける『バウンス』現象の不在を検討すること。
• 状態依存のλを用いたオンポリシー学習においてTD(λ)が発散しうることを示す理論的反例が、実験結果でも裏付けられることを検証すること。

提案手法

• ETDは、状態の訪問頻度に基づいて更新を強調または弱体化させるフォローオントレースF_tを用いる。F_tはF_t = ρ_{t-1}F_{t-1} + 1（F_0 = 1）として計算される。
• 更新式はθ_{t+1} ← θ_t + αρ_t F_t (R_{t+1} + θ_t^T φ_{t+1} - θ_t^T φ_t) φ_tであり、ρ_t = π(A_t|S_t)/μ(A_t|S_t)である。
• オンポリシー設定ではρ_t = 1であるが、ETDはF_tの重み付けによりTD(0)とは異なり、学習を安定化させる。
• オフポリシー設定ではμ ≠ πであり、ETDはポリシーの不一致に対しても収束を維持するが、標準的なTD(0)とは異なり、これに類する保証はない。
• 本研究では、500個のサンプル状態を用いた固定ポリシーのマウンテンカーテストベッドを用い、推定値関数と真の値関数との間の重み付き平均二乗誤差（MSVE）を計算する。
• 学習曲線は500,000エピソードにわたり評価され、漸近的性能を評価するために最後の1%のエピソードにおけるMSVEの平均値が用いられた。

実験結果

リサーチクエスチョン

• RQ1 ETDはオンポリシー強化学習において、漸近的平均二乗値誤差（MSVE）においてTD(0)を上回るか？
• RQ2 ステップサイズが異なる場合に、TD(0)とETDにおける『バウンス』現象（一時的な誤差低下の後、より高い漸近的レベルへの上昇）はどのように現れるか？
• RQ3 TD(0)が収束保証がないオフポリシー設定において、ETDは安定した収束を達成できるか？
• RQ4 ETDおよびTD(0)の両設定（オンポリシーおよびオフポリシー）における最適なステップサイズαの範囲は何か？
• RQ5 状態依存のλを用いたオンポリシー学習においてTD(λ)が発散しうることを示す理論的反例が、実験結果でも成立するか？

主な発見

• オンポリシー設定では、ETDはTD(0)よりも常に低い漸近的MSVEを達成しており、あらゆるステップサイズにおいてバウンス効果が観察されなかった。
• TD(0)は特徴的な『バウンス』を示した—一時的な誤差低下の後、より高い漸近的レベルに上昇する現象であり、ステップサイズにかかわらず発生した。また、αが小さいほどその持続時間が長くなった。
• α < 10^{-4}の場合、TD(0)は500,000エピソード内に収束しなかったが、ETDは適切な小さなα（例：~10^{-7}）を用いることで安定した収束を維持した。
• オフポリシー設定では、ETDはTD(0)よりも優れた漸近的性能を達成したが、分散が高いため収束が著しく遅くなった。
• TD(0)は、より大きなステップサイズを使用できるため、オフポリシー設定ではETDよりも速く収束したが、その代償として漸近的誤差が高くなった。
• ETDがすべての実験でバウンスが見られなかったことから、TD(0)とは異なり、F_tの重み付け機構により、オンポリシー状況でも安定性が保証されていることが確認された。