[論文レビュー] Per-decision Multi-step Temporal Difference Learning with Control Variates

Kristopher De Asis, Richard S. Sutton|arXiv (Cornell University)|Jul 5, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 6

ひとこと要約

本稿では、nステップ時系列差分学習における各決定毎の制御変数を導入し、オフポリシー設定下でも高い分散を示す状況において、報酬系列内の各報酬から推定された行動価値期待値を差し引くことで、オンポリシーおよびオフポリシー設定の両方で分散を低減する手法を提案する。この手法は、ベースラインのnステップTDアルゴリズムと比較して、特に分散が大きいオフポリシー設定下で学習の正確性と性能が顕著に向上する。

ABSTRACT

Multi-step temporal difference (TD) learning is an important approach in reinforcement learning, as it unifies one-step TD learning with Monte Carlo methods in a way where intermediate algorithms can outperform either extreme. They address a bias-variance trade off between reliance on current estimates, which could be poor, and incorporating longer sampled reward sequences into the updates. Especially in the off-policy setting, where the agent aims to learn about a policy different from the one generating its behaviour, the variance in the updates can cause learning to diverge as the number of sampled rewards used in the estimates increases. In this paper, we introduce per-decision control variates for multi-step TD algorithms, and compare them to existing methods. Our results show that including the control variates can greatly improve performance on both on and off-policy multi-step temporal difference learning tasks.

研究の動機と目的

• マルチステップ時系列差分学習における分散を低減すること、特に分散が大きく発散を引き起こす可能性があるオフポリシー設定において。
• ブートストラップステップにとどまらず、nステップリターン系列内のすべての意思決定に対して制御変数の概念を拡張すること。
• 状態価値関数および行動価値関数の両方の制御変数を組み込むことにより、既存のnステップTDアルゴリズムを統合的かつ改善すること。
• nステップフレームワークを通じて、制御変数とTD(λ)手法との関係について理論的および実験的洞察を提供すること。
• 制御変数のスケーリングパラメータが、さまざまな環境およびパrameter設定下での学習安定性と性能に与える影響を評価すること。

提案手法

• nステップリターン系列内の各報酬から、ターゲット方策下での期待行動価値を差し引くことで、各決定毎の制御変数を提案する。
• 行動価値関数の推定値を用いて制御変数を導出し、分散を最小化するようにスケーリング係数cを決定する。これは、式(18)に示される解析的最適係数に基づく。
• オンポリシー（例：nステップSarsa）およびオフポリシー（例：nステップ期待Sarsa）設定の両方で制御変数を適用し、安定性と正確性を向上させる。
• ブートストラップステップでのみ制御変数を適用するのではなく、すべての意思決定ステップで適用するという点で、期待Sarsaの一般化である、新しいアルゴリズム「nステップCV Sarsa」を導入する。
• 適性トレースのわずかな調整が、類似した分散低減効果を暗黙的に誘発することを示すことにより、各決定毎の制御変数とTD(λ)の関係を明らかにする。
• 連続的状態空間における関数近似を用いて、表形式の領域を超えた一般化性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 各決定毎の制御変数は、特にオフポリシー設定下でnステップTD手法における分散低減と学習性能向上に寄与するか？
• RQ2 ブートストラップステップでのみ制御変数を適用するのと比較して、すべての意思決定ステップに制御変数を適用することは、誤差と収束性にどのように影響するか？
• RQ3 制御変数のスケーリング係数cは、学習安定性と性能にどのような影響を及ぼすか？
• RQ4 各決定毎の制御変数は、より広範なTD(λ)フレームワークおよび適性トレースとどのように関係するか？
• RQ5 関数近似を用いた連続的状態空間設定でも、制御変数アプローチは性能向上に寄与するか？

主な発見

• nステップCV Sarsaは、オンポリシーおよびオフポリシーの予測および制御タスクにおいて、nステップ期待Sarsaを上回り、価値関数推定の分散と誤差が低くなる。
• 5×5グリッドワールド環境では、特に分散が大きいオフポリシー設定下で、nステップCV Sarsaはベースライン手法と比較して顕著に低い平均リターン誤差を達成した。
• マウンテンカール制御タスクでは、nステップCV Sarsaがnステップ期待Sarsaよりも平均エピソードリターンが優れていたが、グリーディ方策が制御変数の利点を相殺するため、効果はやや弱く抑えられた。
• nが大きく、ステップサイズαが大きい場合には、各決定毎の制御変数の導入により、一部のケースで学習が発散した。これは、推定が不正確な場合にパrameter設定に対して感受性が高い可能性を示唆している。
• 状態価値用の各決定制御変数はベースラインを上回る性能を示したが、行動価値用の制御変数に劣っており、価値ベース制御において行動価値制御変数がより効果的であることを示している。
• 解析的最適制御変数係数（式(18)）は、さらなる性能向上のための適応的オンラインスケーリングの可能性を示唆しているが、本研究では深く検討されていない。