[논문 리뷰] Better Exploration with Optimistic Actor-Critic

Kamil Ciosek, Quan Vuong외 2명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2019. 10. 28.

Adversarial Robustness in Machine Learning인용 수 35

한 줄 요약

Optimistic Actor-Critic (OAC)은 Q에 대한 상한 추정치를 최대화하면서 KL 제약을 통해 목표 정책에 가까운 탐색 정책을 유지하여 Humanoid에서 최상의 샘플 효율성을 달성하고 MuJoCo 벤치마크에서도 강력한 결과를 얻습니다.

ABSTRACT

Actor-critic methods, a type of model-free Reinforcement Learning, have been successfully applied to challenging tasks in continuous control, often achieving state-of-the art performance. However, wide-scale adoption of these methods in real-world domains is made difficult by their poor sample efficiency. We address this problem both theoretically and empirically. On the theoretical side, we identify two phenomena preventing efficient exploration in existing state-of-the-art algorithms such as Soft Actor Critic. First, combining a greedy actor update with a pessimistic estimate of the critic leads to the avoidance of actions that the agent does not know about, a phenomenon we call pessimistic underexploration. Second, current algorithms are directionally uninformed, sampling actions with equal probability in opposite directions from the current mean. This is wasteful, since we typically need actions taken along certain directions much more than others. To address both of these phenomena, we introduce a new algorithm, Optimistic Actor Critic, which approximates a lower and upper confidence bound on the state-action value function. This allows us to apply the principle of optimism in the face of uncertainty to perform directed exploration using the upper bound while still using the lower bound to avoid overestimation. We evaluate OAC in several challenging continuous control tasks, achieving state-of the art sample efficiency.

연구 동기 및 목표

• 연속 제어를 위한 액터-크리틱 방법에서 더 샘플 효율적인 탐색의 필요성을 동기화한다.
• 탐색을 방해하는 비관적 저탐색과 방향성 무정보성 같은 메커니즘을 식별한다.
• KL 제약으로 안정성을 유지하면서 낙관적 탐색을 가능하게 하는 OAC를 제안하고 유도한다.
• MuJoCo 과제에서 OAC를 경험적으로 평가하고 Humanoid에서 특히 샘플 효율성 향상을 입증한다.

제안 방법

• 부트스트랩된 크리틱 추정치를 사용하여 Q에 대한 상한 신뢰 경계를 도출한다.
• 목표 정책에 대한 KL 제약을 조건으로 상한을 최대화하는 탐색 정책을 정의한다.
• Q UB 기울기 방향으로의 평균 이동을 갖는 가우시안으로 탐색 정책을 해석적으로 계산한다(가우시안 정책이 주어졌을 때 폐쇄형 해).
• 과대 추정을 피하기 위해 하한으로 크리틱을 업데이트하고 안정성을 위해 타깃 네트워크를 사용한다.
• 탐색 정책에서 샘플링된 탐색 행동으로 오프폴리시 메모리로 학습하고 평가 시에는 타깃 정책을 사용한다.
• 부트스트랩된 불확실성 효과와 하이퍼파라미터 민감도를 분리하기 위한 어브레이션을 제공한다.

실험 결과

연구 질문

• RQ1 Q-function에 대한 상한 추정치를 통한 낙관적 탐색이 액터-크리틱 방법의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 탐색 정책과 타깃 정책 간의 KL 제약을 강제하는 것이 방향성 있는 탐색을 가능하게 하면서 오프폴리시 학습의 안정화를 보장하는가?
• RQ3 부트스트랩된 불확실성 추정치가 연속 제어 과제에서 성능에 미치는 영향은 무엇인가?
• RQ4 OAC가 MuJoCo 표준 벤치마크에서 샘플 효율성 및 안정성 측면에서 SAC, TD3, DDPG와 어떻게 비교되는가?

주요 결과

• OAC는 Humanoid 과제에서 SAC를 능가하는 최상의 샘플 효율성을 달성했다.
• 부트스트랩된 불확실성을 사용하여 상한을 형성하는 것이 도전적인 도메인(특히 Humanoid)에서 성능을 향상시키며 고분산 태스크에서도 유리하다.
• (6) 및 (9)로부터 도출된 탐색 정책은 KL 제약으로 인해 타깃 정책에 가까워져 안정성을 지지한다.
• 상한 기반 탐색은 계산적으로 저렴하게 얻을 수 있으며 MuJoCo 환경 전반에서 벤치마크 대비 또는 그보다 나은 성능 증가를 보인다.
• OAC는 별도의 탐색 정책을 사용하더라도 SAC와 유사한 안정성을 실험적으로 보인다.
• 아블레이션은 부트스트래핑된 불확실성과 낙관적 UB가 성능 향상에 기여하며 KL 매개변수 δ에 대해 견고한 민감도 분석을 제공한다.