[논문 리뷰] Smoothed Action Value Functions for Learning Gaussian Policies

Ofir Nachum, Mohammad Norouzi외 2명|arXiv (Cornell University)|2018. 03. 06.

Reinforcement Learning in Robotics참고 문헌 20인용 수 10

한 줄 요약

이 논문은 가우시안 평활화된 Q-값—학습 가능한 평균과 공분산을 가진 가우시안 정책의 엔드 투 엔드 학습을 가능하게 하는 가우시안 평활화된 Q-값—을 도입한다. 평활화된 Q-값의 미분과 헤시안을 통해 정책 기울기를 유도함으로써 제안된 Smoothie 알고리즘은 연속 제어 벤치마크에서 뛰어난 성능을 달성하며, 특히 안정성을 높이기 위한 KL 발산 페널티를 통한 성능 향상으로 DDPG를 능가하고, 훨씬 적은 환경 스텝 수로 TRPO와 유사하거나 이를 초월한다.

ABSTRACT

State-action value functions (i.e., Q-values) are ubiquitous in reinforcement learning (RL), giving rise to popular algorithms such as SARSA and Q-learning. We propose a new notion of action value defined by a Gaussian smoothed version of the expected Q-value. We show that such smoothed Q-values still satisfy a Bellman equation, making them learnable from experience sampled from an environment. Moreover, the gradients of expected reward with respect to the mean and covariance of a parameterized Gaussian policy can be recovered from the gradient and Hessian of the smoothed Q-value function. Based on these relationships, we develop new algorithms for training a Gaussian policy directly from a learned smoothed Q-value approximator. The approach is additionally amenable to proximal optimization by augmenting the objective with a penalty on KL-divergence from a previous policy. We find that the ability to learn both a mean and covariance during training leads to significantly improved results on standard continuous control benchmarks.

연구 동기 및 목표

• 기존의 DDPG와 같은 오프-폴리시 알고리즘의 한계를 해결하기 위해, 정책을 결정론적이거나 고정된 공분산을 가진 가우시안 형태로 제한함으로써 탐색 성능이 열 劣하고 불안정해지는 문제를 해결한다.
• 정책 기울기를 Q-값 함수에서 파생된 기울기를 사용하여 가우시안 정책의 평균과 공분산을 동시에 학습할 수 있는 방법을 개발한다.
• KL-발산 페널티를 통해 근접 정책 최적화 기법을 통합함으로써 훈련 안정성을 향상시키되 샘플 효율성은 유지한다.
• 학습 가능한 공분산이 어려운 연속 제어 벤치마크에서 성능 향상에 크게 기여함을 입증한다. 특히 샘플이 부족한 환경에서 두드러진 성능 향상을 보인다.

제안 방법

• 고정된 공분산 $\Sigma(s)$를 가진 $a$를 중심으로 하는 가우시안에서 초기 행동을 샘플링했을 때의 기대 수익으로 정의된 새로운 Q-값 함수인 평활화된 Q-값 $\tilde{Q}^\pi(s,a)$를 도입한다.
• 기대 수익에 대한 정책 평균에 대한 기울기가 $\tilde{Q}^\pi$의 행동에 대한 기울기와 같고, 행동에 대한 헤시안이 정책 공분산에 대한 기울기와 같음을 증명한다.
• Smoothie 알고리즘을 개발하여 $\tilde{Q}^\pi$를 위한 함수 근사기를 사용하고, 그 기울기와 헤시안을 통해 역전파하여 가우시안 정책의 평균과 공분산을 동시에 업데이트한다.
• 이전 정책과의 KL-발산 페널티를 정책 목표에 추가함으로써 근접 최적화를 가능하게 하고 훈련 안정성을 향상시킨다.
• 평활화된 Q-값이 단일 스텝 벨만 일致 방정식을 만족하므로, 부트스트랩 벨만 업데이트를 사용하여 크리틱 네트워크를 훈련한다.
• 오프-폴리시 경험 재현과 확률적 경사 하강법을 사용하여 DDPG 유사 프레임워크 내에서 크리틱 및 액터 네트워크를 최적화하며, 전체 공분산 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 행동에 대한 기울기와 헤시안이 가우시안 정책의 평균과 공분산에 대한 정책 기울기를 유도할 수 있는 평활화된 Q-값 함수를 정의할 수 있는가?
• RQ2 가우시안 정책에서 평균과 공분산을 동시에 학습하는 것이 연속 제어 벤치마크에서 샘플 효율성과 성능 향상에 기여하는가?
• RQ3 KL-페널티 정규화와 같은 근접 정책 최적화 기법을 전체 가우시안 정책을 학습하는 오프-폴리시 알고리즘에 효과적으로 통합할 수 있는가?
• RQ4 평균과 공분산을 모두 학습하는 방법이 DDPG와 TRPO에 비해 최종 수익과 샘플 효율성 측면에서 어떻게 성능을 냈는가?

주요 결과

• Hopper 환경에서 Smoothie는 DDPG 대비 평균 수익을 2배로 향상시켜 학습 가능한 공분산의 성능 향상 효과를 뚜렷이 입증한다.
• Humanoid에서 KL-페널티를 적용한 Smoothie는 수백만 번의 환경 스텝만으로도, 수십백만 번의 스텝이 필요한 TRPO를 능가하는 최신 기술 수준의 성능을 달성한다.
• Smoothie에 KL-페널티를 추가하면 Hopper와 Humanoid에서 특히 두드러진 성능 향상이 나타나, 훈련 안정성이 향상됨을 시사한다.
• Smoothie는 모든 벤치마크에서 DDPG를 일관되게 능가하며, Hopper, Walker2d, Ant, Humanoid에서 가장 큰 성능 향상을 보여, 탐색적이고 비결정론적인 정책의 이점을 입증한다.
• 표준 정책 기울기 방법의 높은 분산과 샘플 비효율성을 피하면서도 DDPG의 오프-폴리시 효율성을 유지한다.
• 이론적 분석을 통해 평활화된 Q-값이 벨만 방정식을 만족함을 확인하여, 부트스트랩 함수 근사와 안정적인 훈련이 가능함을 입증한다.