[논문 리뷰] Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor

Tuomas Haarnoja, Aurick Zhou외 2명|arXiv (Cornell University)|2018. 01. 04.

Reinforcement Learning in Robotics참고 문헌 34인용 수 3,481

한 줄 요약

Soft Actor-Critic (SAC)은 오프-정책 최대 엔트로피 정책-가중치 방법으로, 확률적 정책을 가진 샘플 효율적 학습과 연속 제어 과제에서 최첨단 성능과 안정성을 달성합니다. 이는 이전 방법들에 비해 샘플 효율성을 향상시킵니다.

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an off-policy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

연구 동기 및 목표

• 모델 프리 딥 RL의 높은 샘플 복잡도와 하이퍼파라미터 민감성을 동기부여하고 다루는 것.
• 확률적 정책을 가진 오프-정책 최대 엔트로피 액터-크리틱 알고리즘을 개발한다.
• 도전적인 연속 제어 벤치마크에서 안정성과 강한 성능을 입증한다.
• 소프트 정책 반복에 대한 이론적 수렴 결과와 실용적인 SAC 구현을 제공한다.
• SAC를 최첨단 오프-정책 및 온-정책 기준선과 비교하고 핵심 하이퍼파라미터를 분석한다.

제안 방법

• 온도 매개변수를 가진 엔트로피 항을 포함하는 최대 엔트로피 강화학습 목표를 공식화한다.
• 소프트 정책 반복을 도출하고 정책 클래스 내에서 최적의 최대 엔트로피 정책으로의 수렴을 증명한다.
• V, Q, 정책에 대한 매개변수화된 네트워크를 갖는 SAC를 도입하고 양의 바이어스를 줄이기 위해 두 개의 Q-함수를 사용한다.
• 리플레이 버퍼를 사용한 오프-정책 확률적 그래디언트 업데이트를 통해 V, Q, 정책을 최적화한다.
• 저분산 정책 그래디언트를 얻기 위한 재매개화 기법을 사용한다.
• 연속 제어 벤치마크에서 SAC를 평가하고 DDPG, PPO, SQL과 비교한다.

실험 결과

연구 질문

• RQ1 오프-정책 최대 엔트로피 프레임워크가 연속 제어를 위한 안정적이고 샘플 효율적인 학습을 낳을 수 있는가?
• RQ2 확률적 정책과 엔트로피 극대화를 도입하면 이전의 오프-정책 방법과 비교하여 탐색과 견고성이 향상되는가?
• RQ3 SAC가 도전적인 작업(예: Humanoid)에서 DDPG, PPO 및 기타 기준선에 비해 성능이 어떤가?
• RQ4 SAC의 성능과 안정성에 영향을 미치는 핵심 요소들(보상 스케일링, 타깃 업데이트 스무딩)은 무엇인가?

주요 결과

• SAC는 도전적인 연속 제어 과제에서 오프-정책 및 온-정책 기준선 모두에 비해 우수한 성능과 샘플 효율성을 달성한다.
• 두 개의 Q-함수를 사용하면 양의 바이어스를 완화하고 학습 속도를 개선하며, 특히 더 어려운 작업에서 그렇다.
• 확률적 정책은 엔트로피 극대화를 통해 결정론적 변형보다 더 안정적인 학습과 시드 간 일관성을 제공한다.
• 보상 스케일링은 엔트로피 항의 온도 조절 역할을 하며 학습 다이나믹에 큰 영향을 준다.
• 타깃 네트워크 스무딩 상수 tau는 안정성과 학습 속도에 영향을 주며 비교적 넓은 유효 범위를 갖는다.
• 정책 평균을 사용한 평가가 더 나은 성능을 낼 수 있지만, SAC는 확률적 정책을 최적화한다.