[論文レビュー] Effective Multi-step Temporal-Difference Learning for Non-Linear Function Approximation

Harm van Seijen|arXiv (Cornell University)|Aug 18, 2016

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 13

ひとこと要約

本稿では、非線形関数近似に適した新しい多ステップ時系列差分学習法である forward TD(λ) を提案する。この手法は、前方視点からの勾配降下に基づく更新ルールを正確に実装し、従来の TD(λ) で一般的に見られる不安定性や発散を回避する。実験的に、ニューラルネットワークを用いたベンチマーク制御タスクにおいて、forward TD(λ) は Sarsa(λ) よりも優れたサンプル効率と安定性を達成している。

ABSTRACT

Multi-step temporal-difference (TD) learning, where the update targets contain information from multiple time steps ahead, is one of the most popular forms of TD learning for linear function approximation. The reason is that multi-step methods often yield substantially better performance than their single-step counter-parts, due to a lower bias of the update targets. For non-linear function approximation, however, single-step methods appear to be the norm. Part of the reason could be that on many domains the popular multi-step methods TD($λ$) and Sarsa($λ$) do not perform well when combined with non-linear function approximation. In particular, they are very susceptible to divergence of value estimates. In this paper, we identify the reason behind this. Furthermore, based on our analysis, we propose a new multi-step TD method for non-linear function approximation that addresses this issue. We confirm the effectiveness of our method using two benchmark tasks with neural networks as function approximation.

研究の動機と目的

• 非線形関数近似を用いる場合に、従来の TD(λ) や Sarsa(λ) が失敗する理由、特に不安定性や価値の発散に起因する理由を特定すること。
• 多ステップ TD 学習における不安定性の根本的原因を解明すること。これは、真の勾配降下更新ルールからの逸脱に起因する。
• 計算コストが高いため実用的でない前方視点の代替として、正確な更新ルールを正確に実装する計算効率の良い手法を開発すること。
• 新しい手法に内在する更新の遅延が性能に悪影響を及げず、むしろ非線形設定において学習を改善する可能性があることを示すこと。
• ニューラルネットワークを関数近似器として用いて、標準的な制御ベンチマークでこの手法を検証すること。

提案手法

• forward TD(λ) を提案する。これは、TD(λ) の前方視点からの正確な勾配降下更新ルールを実装し、理論的整合性を保証する。
• 計算効率を維持するため、遅延更新メカニズムを採用。更新タイミングは各エピソードの終了時またはエリギビリティトレースに基づいて同期される。
• 各状態行動ペアの更新への寄与度を追跡する修正版エリギビリティトレースを採用。これにより、真の時系列差分更新と整合性が保たれる。
• 値関数の更新に固定された小さな値 η を用いた学習率スケジュールを導入。これにより、学習中の安定性が確保される。
• 行動価値推定のため、各行動ごとに1つのニューラルネットワークを用いることで制御タスクに適応。ε-greedy探索を適用。
• 非線形特徴を有するパラメータ化された値関数を用いることで、連続的または大規模な状態空間においても一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非線形関数近似を用いる場合に、TD(λ) が収束しない、あるいは発散する理由は何か。線形設定では成功しているが、非線形設定では失敗する理由は何か？
• RQ2 従来の TD(λ) アルゴリズムにおけるどの特定の逸脱が、非線形関数近似における不安定性と分散の増大を引き起こしているか？
• RQ3 計算コストが高くないが、前方視点からの正しい勾配降下更新ルールを正確に実装する代替手法を設計できるか？
• RQ4 新しい手法に内在する更新の遅延が学習性能に悪影響を及げるのか、それとも非線形設定において安定性を向上させる可能性があるのか？
• RQ5 標準的な制御ベンチマークにおいて、Sarsa(λ) と比較して、提案手法はサンプル効率と最終的な性能の両面で優れているか？

主な発見

• マウンテンカーモデルでは、forward TD(λ) は λ = 1.0 を除き、すべての λ 値において Sarsa(λ) よりも高い平均報酬を達成し、顕著な性能向上を示した。
• カートポールベンチマークでは、forward Sarsa(λ) は λ ≈ 0.6 で最適性能を達成したが、Sarsa(λ) は λ 値が高くなると性能が低下した。これは、本手法の高いロバストネスを示している。
• マウンテンカーモデルにおける RMS 誤差は、forward TD(λ) のほうが Sarsa(λ) よりも速やかに減少し、λ = 0.9 の場合、最初の 50 エピソードで正規化誤差が 50% 以上低下した。
• 高い λ 値でも、本手法は安定性を維持し、非線形関数近似においてよく見られる Sarsa(λ) の価値発散を回避した。
• 遅延更新にもかかわらず、forward TD(λ) は Sarsa(λ) よりも優れたサンプル効率と低い分散を達成しており、遅延が正則化効果をもたらしている可能性がある。
• forward TD(λ) の計算複雑度は TD(0) と同等であるため、大規模な非線形問題に対しても実用的である。一方、λ-リターン法は計算コストが高いため、実用的ではない。