[論文レビュー] Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies

David Balduzzi, Muhammad Ghifary|arXiv (Cornell University)|Sep 10, 2015

Reinforcement Learning in Robotics参考文献 21被引用数 23

ひとこと要約

本論文は、時系列差分法と勾配摂動テクニックを用いて価値関数の勾配を直接推定する、連続的方策における深層強化学習アルゴリズムGPropを紹介する。GPropは、価値、勾配、方策の3つの別個のニューラルネットワークを備えたDeviator-Actor-Critic（DAC）モデルを提案し、関数近似の整合性を確保するとともに、エンドツーエンドの誤差逆伝播を可能にする。GPropはオクトパスアームベンチマークで最先端の性能を達成し、勾配推定の正確性を検証するための文脈的バンディットタスクでも教師あり学習の性能に匹敵する。

ABSTRACT

This paper proposes GProp, a deep reinforcement learning algorithm for continuous policies with compatible function approximation. The algorithm is based on two innovations. Firstly, we present a temporal-difference based method for learning the gradient of the value-function. Secondly, we present the deviator-actor-critic (DAC) model, which comprises three neural networks that estimate the value function, its gradient, and determine the actor's policy respectively. We evaluate GProp on two challenging tasks: a contextual bandit problem constructed from nonparametric regression datasets that is designed to probe the ability of reinforcement learning algorithms to accurately estimate gradients; and the octopus arm, a challenging reinforcement learning benchmark. GProp is competitive with fully supervised methods on the bandit task and achieves the best performance to date on the octopus arm.

研究の動機と目的

• 連続的方策における深層強化学習における関数近似の整合性の欠如に対処すること。
• 従来の時系列差分法がアドバンテージ関数を推定するのではなく、価値関数の勾配を直接推定する手法を開発すること。
• クライアント、ディヴィエーター、エージェントのネットワークを分離し、方策ネットワークへの構造的依存性を排除して、すべてのネットワークを誤差逆伝播により学習可能にすること。
• アルゴリズムを、挑戦的な連続的制御ベンチマークおよび勾配推定の正確性を検証するための文脈的バンディットタスクで評価すること。
• 関数近似の整合性を有する深層強化学習が、回帰的タスクに類似したタスクで完全に教師ありの方法と同等の性能を達成できることを示すこと。

提案手法

• 関数とその勾配を同時に推定できる不規則なガウスノイズを用いた勾配摂動テクニックを導入し、時系列差分学習による価値と勾配の共同学習を可能にする。
• 価値関数、価値関数の勾配（ディヴィエーター）および方策（エージェント）を別個に処理する3つの異なるニューラルネットワークからなるDeviator-Actor-Critic（DAC）モデルを提案する。
• 3つの異なる信号（価値TD誤差、勾配TD誤差、方策勾配）を3つのネットワークに誤差逆伝播させるValue-Gradient Backpropagation（GProp）アルゴリズムを設計する。
• 線形およびリラウール（rectilinear）ユニットを用いる場合、ネットワークが線形およびリラウール関数を用いるとき、方策勾配の更新が価値勾配推定と整合的であることを証明することで、関数近似の整合性を保証する。
• 最適化にRMSPropにネステロフモーメンタムを組み合わせ、エピソードの成功に基づくノイズ分散の段階的減少により、適応的探索を実装する。
• 特にオクトパスアーム環境において、訓練の安定性を向上させるために経験リプレイとネットワーククローンを用いる。

実験結果

リサーチクエスチョン

• RQ1 時系列差分学習を用いて、深層強化学習アルゴリズムが価値関数の勾配を直接推定できるか？
• RQ2 価値、勾配、方策の3ネットワーク構造が、関数近似の整合性を保ちつつ、誤差逆伝播によるエンドツーエンド学習が可能か？
• RQ3 直接的な価値勾配推定は、連続的制御タスクにおけるより安定的かつ正確な方策学習をもたらすか？
• RQ4 このアルゴリズムは、勾配推定の正確性が求められるタスクで、完全に教師ありの方法と同等の性能を達成できるか？
• RQ5 提案手法は、オクトパスアームのような挑戦的な連続的制御ベンチマークで、先行の最先端手法を上回る性能を示すか？

主な発見

• GPropは、オクトパスアームタスクでこれまでで最高の性能を達成し、平均して50ステップ以内にターゲットを捉える安定した方策に収束する。
• COPDAC-Qと比較して、より速く信頼性の高い収束を示し、10回の訓練ランで一貫した性能を発揮する。
• 非パラメトリック回帰データセットから構築された文脈的バンディットタスクにおいて、GPropは完全に教師ありの方法と同等の性能を示し、ラベルなしで7つの回帰問題を同時に解ける。
• GPropが学習する方策と勾配推定は、COPDAC-Qのそれよりも安定しており、ステップごとの報酬の変動は、より速い収束に起因する誤差の産物である。
• ディヴィエーター・ネットワークが真の価値勾配を推定できる能力のおかげで、より正確な方策更新が可能となり、収束速度の向上と最終的な性能の優位性が裏付けられる。
• 理論的分析により、線形およびリラウール活性化関数を用いる場合、GPropが関数近似の整合性を維持し、有効な方策勾配更新を可能にすることが確認された。