[論文レビュー] Directly Estimating the Variance of the {\lambda}-Return Using Temporal-Difference Methods

Craig Sherstan, Brendan Bennett+5 more|arXiv (Cornell University)|Jan 25, 2018

Reinforcement Learning in Robotics参考文献 11被引用数 5

ひとこと要約

本稿では、非偏りなλリターン推定を必要としないため、偏りのないλリターン推定を必要としない、強化学習におけるλリターンの分散を推定する直接的時系列差分法を導入する。VTDのような先行手法よりも単純で、より頑健である。特に、オフポリシー学習、ステップサイズの不一致、価値関数の誤差の下で優れた性能を示し、実験結果では同等または優れた性能と低い分散を達成している。

ABSTRACT

This paper investigates estimating the variance of a temporal-difference learning agent's update target. Most reinforcement learning methods use an estimate of the value function, which captures how good it is for the agent to be in a particular state and is mathematically expressed as the expected sum of discounted future rewards (called the return). These values can be straightforwardly estimated by averaging batches of returns using Monte Carlo methods. However, if we wish to update the agent's value estimates during learning--before terminal outcomes are observed--we must use a different estimation target called the {\lambda}-return, which truncates the return with the agent's own estimate of the value function. Temporal difference learning methods estimate the expected {\lambda}-return for each state, allowing these methods to update online and incrementally, and in most cases achieve better generalization error and faster learning than Monte Carlo methods. Naturally one could attempt to estimate higher-order moments of the {\lambda}-return. This paper is about estimating the variance of the {\lambda}-return. Prior work has shown that given estimates of the variance of the {\lambda}-return, learning systems can be constructed to (1) mitigate risk in action selection, and (2) automatically adapt the parameters of the learning process itself to improve performance. Unfortunately, existing methods for estimating the variance of the {\lambda}-return are complex and not well understood empirically. We contribute a method for estimating the variance of the {\lambda}-return directly using policy evaluation methods from reinforcement learning. Our approach is significantly simpler than prior methods that independently estimate the second moment of the {\lambda}-return. Empirically our new approach behaves at least as well as existing approaches, but is generally more robust.

研究の動機と目的

• 強化学習におけるλリターンの分散を推定するより単純でより頑健な手法を開発すること。
• VTDのような従来の間接的手法の限界を解決すること。VTDは複雑な計算を要し、推定の分散が高くなる傾向がある。
• 時系列差分学習を用いて直接的に分散を推定すること。オフポリシー学習、状態依存割引率、トレース減衰パラメータをサポートする。
• 直接的分散推定の性能を、オンポリシーおよびオフポリシー設定を含む複数の学習シナリオにおいて、VTDと比較して実験的に評価すること。

提案手法

• 価値関数推定器からの二乗時系列差分誤差を用いて、分散推定を直接更新する新しいベルマン作用素を提案する。
• 二段階TDネットワークを用いる：第一段階で価値関数J(s)を推定し、第二段階で二乗TD誤差をメタ報酬として用いて分散V(s)を推定する。
• VTDとは異なり、λリターンの非偏り推定を必要としないため、更新ルールが単純化され、学習における分散が低減される。
• 重要度サンプリング比を用いることでオフポリシー学習をサポートし、状態依存割引率やトレース減衰パラメータに対応する。
• 分散推定が、二乗TD誤差と価値推定の二乗との差に基づいて直接更新される更新ルールを採用する。
• 関数近似と互換性があり、射影ベルマン作用素フレームワークに自然に拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 新しいベルマン作用素を用いた直接的分散推定は、VTDのような間接的手法と比べて、安定性と収束性においてどのように異なるか？
• RQ2 価値推定器と分散推定器の間でステップサイズの不一致が生じた場合、推定品質にどのような実験的影響を与えるか？
• RQ3 価値関数推定にエリギビリティトレースを用いることで、分散推定アルゴリズムの性能にどのような影響を与えるか？
• RQ4 オフポリシー報酬の分散を推定する状況では、両手法はどのように性能を発揮するか？
• RQ5 価値関数の誤差やノイズのある報酬の下で、直接的手法はVTDに比べて推定の分散が低くなるか？

主な発見

• 直接的手法は、全テスト環境および設定において、VTDと同等の性能でλリターンの分散を推定した。
• 価値推定器と分散推定器の間でステップサイズの不一致が生じた場合、直接的手法はVTDに比べて著しく低い推定分散を示した。
• 価値関数学習にエリギビリティトレースが用いられる状況では、直接的手法は安定かつ正確に保たれるが、VTDは推定の分散が増加し、特に高報酬状態で顕著であった。
• オフポリシー報酬の分散を推定する状況では、同一のステップサイズであっても、直接的手法はVTDよりも低い推定分散を維持した。
• 価値関数収束の前段階である初期学習段階において、直接的手法はVTDの推定よりもはるかに頑健であった。
• 理論的分析により、直接的分散推定の誤差は価値関数近似の誤差に比例することが示され、安定した学習ダイナミクスを保証した。