[論文レビュー] Convergent Actor-Critic Algorithms Under Off-Policy Training and Function Approximation

Hamid Reza Maei|arXiv (Cornell University)|Feb 21, 2018

Reinforcement Learning in Robotics参考文献 13被引用数 23

ひとこと要約

本稿では、関数近似と方策勾配更新を用い、追加のハイパーパrameterを導入せずに収束を保証する、最初の収束性を有するオフポリシー Actor-Critic アルゴリズム—勾配 Actor-Critic および強調付き Actor-Critic—を提示する。この手法は、平均化された状態価値目的関数の真の勾配を利用しており、次元の呪いにより Q 関数近似が失敗する連続的または大規模な行動空間においても安定した学習を可能にする。

ABSTRACT

We present the first class of policy-gradient algorithms that work with both state-value and policy function-approximation, and are guaranteed to converge under off-policy training. Our solution targets problems in reinforcement learning where the action representation adds to the-curse-of-dimensionality; that is, with continuous or large action sets, thus making it infeasible to estimate state-action value functions (Q functions). Using state-value functions helps to lift the curse and as a result naturally turn our policy-gradient solution into classical Actor-Critic architecture whose Actor uses state-value function for the update. Our algorithms, Gradient Actor-Critic and Emphatic Actor-Critic, are derived based on the exact gradient of averaged state-value function objective and thus are guaranteed to converge to its optimal solution, while maintaining all the desirable properties of classical Actor-Critic methods with no additional hyper-parameters. To our knowledge, this is the first time that convergent off-policy learning methods have been extended to classical Actor-Critic methods with function approximation.

研究の動機と目的

• 連続的または大規模な行動空間において、関数近似を用いた収束性を有するオフポリシー Actor-Critic 法の不足を補う。
• 高い分散性や収束保証の欠如に苦しむ既存のオフポリシー方策勾配法の制限を克服する。
• 古典的 Actor-Critic の効率性とモularity を維持しつつ、オフポリシー学習を可能にするアルゴリズムを開発する。
• 追加のハイパーパrameterを導入せず、古典的手法の単純性を保ったまま収束を保証する。
• 状態価値関数と正確な勾配更新を用いて、オンポリシー Actor-Critic をオフポリシー学習へ体系的に拡張する。

提案手法

• 収束を保証するため、平均化された状態価値関数目的関数の真の勾配を導出し、アクトロール更新を誘導する。
• エリクシビリティトレースを用いて、GTD(λ) および強調付き-TD(λ) アルゴリズムにより、オフポリシーで状態価値関数を推定する。
• $ f^\lambda_t $ および $ z_t $ を介した新しいエリクシビリティトレース更新を導入し、オフポリシー分布シフトを補正する。
• 重要度サンプリング、エリクシビリティトレース、方策勾配を組み合わせた $ \psi_t $ を用いて、アクトロール更新を設計する。
• ステップあたり線形時間および線形記憶量の複雑性を保証し、オンラインかつ逐次的学習の性質を維持する。
• マルティングルおよび安定性の議論を用いて、標準的な関数近似の仮定の下で収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 価値関数および方策ネットワークの両方で関数近似を用いる場合、オフポリシー Actor-Critic アルゴリズムは収束性を保証できるか？
• RQ2 Q 関数の代わりに状態価値関数を用いることで、連続的または大規模な行動空間における次元の呪いは解消されるか？
• RQ3 エリクシビリティトレースと重要度サンプリングを用いて、オフポリシー設定でも方策目的関数の真の勾配を回復できるか？
• RQ4 標準的な学習率以外の新たなハイパーパrameterを導入せずに、収束性と効率性を維持することは可能か？
• RQ5 提案手法は、Off-PAC などの先行オフポリシー Actor-Critic 手法と比較して、勾配方向および収束性においてどのように異なるか？

主な発見

• 提案された勾配 Actor-Critic および強調付き Actor-Critic アルゴリズムは、関数近似を用いたオフポリシー学習において、収束性を保証する最初のアルゴリズムである。
• アルゴリズムはステップあたり線形時間および線形記憶量の複雑性を達成し、大規模な問題に効率的にスケーリングする。
• アクトロール更新は方策目的関数の正確な勾配を用いるため、Off-PAC などの先行手法で見られる方向誤差を回避する。
• $ \lambda = 1 $ の場合、強調付き-TD(1) と GTD(1) は同一の解を生成し、これは MSE 最適な価値関数に対応するため、アルゴリズムを単純化し、$ \lambda $ のチューニングを不要にする。
• この手法は、古典的 Actor-Critic が有する望ましい性質をすべて維持する：オンライン、逐次的、追加のハイパーパrameterなし。
• 反例により、先行のオフポリシー Actor-Critic 手法（例：Off-PAC）は誤った勾配方向に更新される可能性があることが示され、本手法はこの問題を回避する。