[論文レビュー] Online Off-policy Prediction

Sina Ghiassian|arXiv (Cornell University)|Nov 6, 2018

Advanced Bandit Algorithms Research参考文献 26被引用数 14

ひとこと要約

本稿では、値関数予測のためのオンライン非政策時系列差分学習アルゴリズムについて、包括的な実験的分析を提示している。Emphatic-TD、Gradient-TD、V-traceなどの手法を2つの挑戦的であるマイクロワールドで評価した結果、ETD(λ)は漸近的性能とハイパーパrameterへのロバスト性に優れており、重要度サンプリングを用いてTD誤差全体を補正する手法が、部分的補正よりも一貫して優れた性能を示した。

ABSTRACT

In this dissertation, we study online off-policy temporal-difference learning algorithms, a class of reinforcement learning algorithms that can learn predictions in an efficient and scalable manner. The contributions of this dissertation are one of the two kinds: (1) empirically studying existing off-policy learning algorithms, or, (2) exploring new algorithmic ideas. In reinforcement learning, it is not uncommon for an agent to learn about one policy, called the target policy, while behaving using a different policy, called the behavior policy. When the target and behavior policies are different, learning is `off' the policy in the sense that the data is from a different source than the target policy. Our first contribution is a novel Gradient-TD algorithm called TDRC. Gradient-TD algorithms are one of the most important families of off-policy learning algorithms due to their favorable convergence guarantees. Previous research showed that Gradient-TD algorithms learn slower than some other unsound algorithms such as Off-policy TD (Maei, 2011). In addition, Gradient-TD algorithms are not as easy to use as Off-policy TD because they have two learned weight vectors and two step-size parameters. Our contribution is a new algorithm called temporal-difference learning with regularized corrections (TDRC), that behaves as well as Off-policy TD, when Off-policy TD performs well but is sound in cases where Off-policy TD diverges. TDRC provides a standard way of setting the second step-size parameter and is easier to use than other Gradient-TD algorithms. We empirically investigate the performance of TDRC across a range of problems, for both prediction and control, and for both linear and non-linear function approximation, and show that it consistently outperforms other Gradient-TD algorithms. We derive the control variant of TDRC and show that it could be a better alternative to existing algorithms for solving complex control problems with neural networks. One of the important contributions of this thesis is a comprehensive empirical study of off-policy prediction learning algorithms. The study is one of the most thorough studies of off-policy prediction learning algorithms to date in terms of the number of algorithms it includes and is unique in that the performance of algorithms with respect to each of the algorithms parameters is assessed individually. We present empirical results with eleven prominent off-policy learning algorithms that use linear function approximation: five Gradient-TD methods, two Emphatic-TD methods, Off-policy TD, V-trace, Tree Backup, and ABQ. We assess the performance of the algorithms in terms of their learning speed, asymptotic error, and sensitivity to the step-size and bootstrapping parameters on a simple problem, called the Collision task, that has eight states and two actions. On the Collision task, we found that the two Emphatic-TD algorithms learned the fastest, reached the lowest errors, and were robust to parameter settings. V-trace, Tree Backup, and ABQ were no faster and had higher asymptotic error than other algorithms. Another one of the main contributions of this thesis is the first empirical study of off-policy prediction learning algorithms with a focus on one of the most important challenges in off-policy learning: slow learning. When learning off-policy, importance sampling ratios are used to correct for the differences between the target and behavior policies. These ratios can be large and of high variance. The step-size parameter should be set small to control this high variance, which in turn slows down learning. In this study, we found that the algorithms' performance is highly affected by the variance induced by the importance sampling ratios. Data shows that algorithms that adapt the bootstrapping parameter during learning, such as V-trace are less affected by the high variance than the other algorithms. We observed that Emphatic TD tends to have lower asymptotic error than other algorithms, but exhibits high variance and does not learn well when the product of importance sampling ratios is large. The final contribution of this thesis is a step-size adaptation algorithm, called Step-size Ratchet, that when combined with Emphatic TD, significantly improves its learning speed. The proposed algorithm keeps the step-size parameter as large as possible and only ratchets it down when necessary. We establish the effectiveness of the combination of Emphatic TD and Step-size Ratchet by comparing it with the combination of Emphatic TD and other step-size adaptation algorithms on tasks where learning fast is challenging. (Abridged abstract)

研究の動機と目的

• 現代のオンライン非政策予測アルゴリズムの相対的性能に関する実験的ギャップを埋めること。
• TD誤差の補正に重要度サンプリングを適用する位置—TD誤差全体を補正するか、値関数推定値のみを補正するか—が学習の安定性と性能に与える影響を評価すること。
• ハイパーパrameterと環境の分散が変化する条件下で、主要なアルゴリズムの感度、収束速度、漸近的性能を評価すること。
• 固定基底関数設定におけるEmphatic-TD、Gradient-TD、V-trace、Tree Backupなどの手法の実用的利点と限界を明確にすること。

提案手法

• 著者らは、固定基底関数表現を用いた2つの複雑なマイクロワールドにおいて、Emphatic-TD、Gradient-TD、V-trace、Tree Backup、ABTD(ζ)などを含む14種類のオンライン非政策予測アルゴリズムを評価した。
• ステップサイズ、λ、βといったハイパーパrameterを体系的に変化させ、感度と収束特性を評価した。
• 重要度サンプリング補正をTD誤差全体に適用するか、値関数推定値にのみ適用するかを比較し、性能への影響を実験的に評価した。
• ハイパーパrameterのチューニングにはAUC最適化を用い、学習速度、分散、最終的性能を評価した。
• 重要度サンプリング比の低分散および高分散設定を含め、ロバスト性を評価した。
• 明示的な事前補正（例：V-trace）の有無、およびエリギビリティトレース機構の違いを含めた手法の比較を行った。

実験結果

リサーチクエスチョン

• RQ1 異なる非政策予測アルゴリズムは、漸近的性能、収束速度、ハイパーパrameterへの感度においてどのように比較されるか？
• RQ2 重要度サンプリングを用いてTD誤差全体を補正する方が、値関数推定値のみを補正する場合よりも優れた性能を示すか？
• RQ3 V-trace(λ) や ETD(λ) は、重要度サンプリング比が高分散状態および長いエリギビリティトレース下でもどのように性能を発揮するか？
• RQ4 事前補正（例：V-trace や Tree Backup におけるもの）は、学習の安定化と性能向上にどのような役割を果たすか？
• RQ5 Gradient-TD のハイブリッド版やプロキシマル版は、実用的に標準の Gradient-TD よりも有意義な改善をもたらすか？

主な発見

• Emphatic-TD(λ) は、すべてのテスト設定で Gradient-TD よりも優れた漸近的性能を達成しており、特に λ が小さい値のとき顕著である。
• 重要度サンプリングを用いてTD誤差全体を補正する手法は、部分的補正（v(S_t) のみ）と比較して一貫して優れた性能を示し、あるいは同等の性能を発揮する。したがって、推奨される。
• ETD(λ) は、他の手法と比較して λ ハイパーパラメータに対して著しく感度が低く、高分散状態でも良好な性能を発揮する。
• V-trace(λ) と Tree Backup(λ) は互いに優劣がつかない。性能は環境に依存し、V-trace は高分散状況でしばしば優れた性能を示す。
• ABTD(ζ) は、最良の手法と同等の性能を発揮し、場合によっては V-trace や Tree Backup をも上回る。特に高分散タスクにおいて顕著である。
• ETD(λ,β) は ETD(λ) に明確な利点を提供せず、β ≈ γ のとき性能が最良となり、その場合 ETD(λ) に還元される。