[論文レビュー] Better Exploration with Optimistic Actor-Critic

Kamil Ciosek, Quan Vuong+2 more|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Oct 28, 2019

Adversarial Robustness in Machine Learning被引用数 35

ひとこと要約

Optimistic Actor-Critic (OAC) は、KL制約を介してターゲット方策に近づきつつQの上限信頼境界を最大化する探索方策を導入し、Humanoidで最先端のサンプル効率を達成し、MuJoCoのベンチマークでも強い結果を得る。

ABSTRACT

Actor-critic methods, a type of model-free Reinforcement Learning, have been successfully applied to challenging tasks in continuous control, often achieving state-of-the art performance. However, wide-scale adoption of these methods in real-world domains is made difficult by their poor sample efficiency. We address this problem both theoretically and empirically. On the theoretical side, we identify two phenomena preventing efficient exploration in existing state-of-the-art algorithms such as Soft Actor Critic. First, combining a greedy actor update with a pessimistic estimate of the critic leads to the avoidance of actions that the agent does not know about, a phenomenon we call pessimistic underexploration. Second, current algorithms are directionally uninformed, sampling actions with equal probability in opposite directions from the current mean. This is wasteful, since we typically need actions taken along certain directions much more than others. To address both of these phenomena, we introduce a new algorithm, Optimistic Actor Critic, which approximates a lower and upper confidence bound on the state-action value function. This allows us to apply the principle of optimism in the face of uncertainty to perform directed exploration using the upper bound while still using the lower bound to avoid overestimation. We evaluate OAC in several challenging continuous control tasks, achieving state-of the art sample efficiency.

研究の動機と目的

• 連続制御のための actor-critic 手法において、よりサンプル効率の高い探索の必要性を動機づける。
• 探索を妨げる pessimistic underexploration や directional uninformedness のようなメカニズムを特定する。
• 安定性のための KL 制約とともに楽観的探索を可能にする OAC を提案・導出する。
• MuJoCo タスクで OAC を実証的に評価し、特に Humanoid でサンプル効率の向上を示す。

提案手法

• ブートストラップされた critic 推定値を用いて Q に対する上限信頼境界を導出する。
• ターゲット方策との KL 制約の下で、上限を最大化する探索方策を定義する。
• Q UB 勾配の方向への平均シフトを持つガウス分布として、解析的に探索方策を計算する（ガウス方策が与えられている場合の閉形式）。
• 過大推定を避けるために下限を用いて critic を更新し、安定性のためにターゲットネットワークを使用する。
• 探索方策からサンプルされた探索行動を用いてオフポリシーメモリで訓練し、評価はターゲット方策を使用する。
• ブートストラップ不確実性の効果とハイパーパラメータ感度を孤立させるアブレーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 Q-function の上限信頼界を用いた楽観的探索は、actor-critic 法におけるサンプル効率を改善するか？
• RQ2 探索とターゲット方策の間に KL 制約を課すことは、 directed exploration を可能にしつつオフポリシー学習を安定化させるか？
• RQ3 連続制御タスクにおけるブートストラップ不確実性推定の性能への影響は？
• RQ4 標準的な MuJoCo ベンチマークにおけるサンプル効率と安定性という点で、OAC は SAC、TD3、DDPG とどのように比較されるか？

主な発見

• OAC は Humanoid タスクで最先端のサンプル効率を達成し、SAC を上回る。
• ブートストラップ不確実性を用いて上限を形成することは、困難なドメイン（特に Humanoid）で性能を向上させ、高分散タスクで有利である。
• 式(6)と(9) から導出された探索方策は KL 制約のためターゲット方策に近いままであり、安定性を支持する。
• 上限ベースの探索は計算コストが低く、MuJoCo 環境全体でベースライン手法と同等かそれより良い性能向上をもたらす。
• 別個の探索方策を使用するにもかかわらず、OAC は実践上 SAC に匹敵する安定性を示す。
• アブレーションにより、ブートストラップ不確実性と楽観的 UB が性能改善に寄与すること、KL パラメータ δ に対する堅牢な感度分析が示される。