[論文レビュー] Off-Policy Actor-Critic

Thomas Degris, Martha White+1 more|arXiv (Cornell University)|May 22, 2012

Reinforcement Learning in Robotics参考文献 22被引用数 56

ひとこと要約

本稿では、柔軟性の高い方策ベース手法とオフポリシー時系列差分学習のデータ効率性を組み合わせた、最初のオフポリシー・アクタクリティック強化学習アルゴリズムであるOff-PACを提案する。エリギビリティトレースと勾配-TD学習（GTD(λ)）を用いることで、線形時間かつインクリメンタルな更新が可能となり、標準的な仮定の下で収束性を証明した。ベンチマークタスクにおいて、Q(λ)、Greedy-GQ、Softmax-GQと比較して優れた性能と低い分散を示した。

ABSTRACT

This paper presents the first actor-critic algorithm for off-policy reinforcement learning. Our algorithm is online and incremental, and its per-time-step complexity scales linearly with the number of learned weights. Previous work on actor-critic algorithms is limited to the on-policy setting and does not take advantage of the recent advances in off-policy gradient temporal-difference learning. Off-policy techniques, such as Greedy-GQ, enable a target policy to be learned while following and obtaining data from another (behavior) policy. For many problems, however, actor-critic methods are more practical than action value methods (like Greedy-GQ) because they explicitly represent the policy; consequently, the policy can be stochastic and utilize a large action space. In this paper, we illustrate how to practically combine the generality and learning potential of off-policy learning with the flexibility in action selection given by actor-critic methods. We derive an incremental, linear time and space complexity algorithm that includes eligibility traces, prove convergence under assumptions similar to previous off-policy algorithms, and empirically show better or comparable performance to existing algorithms on standard reinforcement-learning benchmark problems.

研究の動機と目的

• オンポリシー手法の制限を克服しつつ、オフポリシー学習が可能な強化学習アルゴリズムの開発。
• オフポリシー学習の一般性と、特に確率的方策や大規模な行動空間におけるアクタクリティック手法の方策表現の柔軟性を統合すること。
• エリギビリティトレースとインクリメンタル更新をサポートする線形時間・空間計算量の手法の設計。
• 先行のオフポリシー勾配-TD手法と類似した仮定の下で、提案手法の収束性を証明すること。
• 標準的なベンチマーク問題において、既存のオフポリシーアルゴリズムとOff-PACを実験的に比較評価すること。

提案手法

• オフポリシー学習を可能にするアクタクリティック手法であるOff-PACを提案。2つの構成要素を有する：方策重みを学習するアクトルと、現在のポリシーの価値関数をオフポリシーのデータから推定するクリティック。
• オフポリシー経験からの価値関数推定に、エリギビリティトレースを備えた勾配-TD手法（GTD(λ)）を採用。
• エリギビリティトレースを用いて、方策重みのバックワードビュー更新ルールを導出。これにより、インクリメンタルかつ線形時間の更新が可能となる。
• 新しい方策目的関数を定義し、オフポリシー条件下でも有効な方策勾配更新を導出。
• クリティックの更新頻度をアクトルよりも高くする二段階スケールの更新ルールを採用。これにより、安定性と収束性が保証される。
• ステップサイズスケジューリングとサブサンプリング技術を適用し、実用的な文脈でのロバスト性と安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 アクタクリティック手法をオフポリシー学習に拡張することは可能か？ その際、収束性と効率性を維持できるか？
• RQ2 エリギビリティトレースは、線形計算量を維持しつつ、オフポリシー・アクタクリティック学習に効果的に統合可能か？
• RQ3 Q(λ) や Greedy-GQ といった既存のオフポリシー価値ベース手法と比較して、オフポリシー・アクタクリティック手法は最終的性能とサンプル効率の面で優れているか？
• RQ4 アクション価値ベース手法と比較して、オフポリシー・アクタクリティック学習はより低い分散とより安定した学習を達成できるか？
• RQ5 オフポリシー・アクタクリティック学習でロバストな性能を発揮するためのパラメータ設定と更新スケジューリング戦略は何か？

主な発見

• Off-PACは3つのベンチマーク問題すべてで最高の最終的性能を達成した。特に連続的グリッドワールドでは、ゴールに到達する方策を信頼性高く学習できた唯一のアルゴリズムであった。
• Off-PACは全実験で最小の標準誤差を示し、Q(λ)、Greedy-GQ、Softmax-GQと比較して、よりロバストで分散の小さい性能を示した。
• 連続的グリッドワールドにおいて、Off-PACは5,000エピソード経過後にゴールに到達する方策を正常に学習したが、他のアルゴリズムは信頼性なく失敗した。
• アルゴリズムは線形時間・空間計算量を示し、学習する重みの数に応じて効率的にスケーリングした。
• 先行のオフポリシー勾配-TD手法と類似した仮定の下で収束性が証明され、理論的基盤の妥当性が裏付けられた。
• 実験結果から、アクション価値ベース手法よりもオフポリシーのノイズに対してよりロバストであることが示唆され、実世界応用において有望であることが示された。