[논문 리뷰] Soft Actor-Critic Algorithms and Applications

Tuomas Haarnoja, Aurick Zhou외 9명|arXiv (Cornell University)|2018. 12. 13.

Reinforcement Learning in Robotics참고 문헌 44인용 수 1,935

한 줄 요약

본 논문은 자동 온도 조정을 포함한 최대 엔트로피 강화학습에 기반한 오프폴리시 액터-크리틱 알고리즘인 소프트 액터-크리틱(SAC)을 제안하며, 연속 제어 작업과 실제 로봇 공학에서 강한 샘플 효율성과 안정성을 달성한다.

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. However, these methods typically suffer from two major challenges: high sample complexity and brittleness to hyperparameters. Both of these challenges limit the applicability of such methods to real-world domains. In this paper, we describe Soft Actor-Critic (SAC), our recently introduced off-policy actor-critic algorithm based on the maximum entropy RL framework. In this framework, the actor aims to simultaneously maximize expected return and entropy. That is, to succeed at the task while acting as randomly as possible. We extend SAC to incorporate a number of modifications that accelerate training and improve stability with respect to the hyperparameters, including a constrained formulation that automatically tunes the temperature hyperparameter. We systematically evaluate SAC on a range of benchmark tasks, as well as real-world challenging tasks such as locomotion for a quadrupedal robot and robotic manipulation with a dexterous hand. With these improvements, SAC achieves state-of-the-art performance, outperforming prior on-policy and off-policy methods in sample-efficiency and asymptotic performance. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving similar performance across different random seeds. These results suggest that SAC is a promising candidate for learning in real-world robotics tasks.

연구 동기 및 목표

• 실세계 작업을 위한 모델 프리 딥 RL에서 높은 샘플 복잡도와 하이퍼파라미터의 취약성을 극복하도록 동기를 부여한다.
• return과 정책 엔트로피를 동시에 최대화하는 오프폴리시 액터-크리틱 프레임워크를 제안한다.
• 태스크별 하이퍼파라미터 조정의 필요를 줄이기 위해 자동 엔트로피 조정을 도입한다.
• 벤치마크 제어 작업과 실제 로봇 조작 및 이동 문제에 대해 SAC를 경험적으로 검증한다.

제안 방법

• SAC를 확률적 정책과 소프트 Q-함수를 갖는 오프폴리시 액터-크리틱 알고리즘으로 공식화한다.
• 양의 편향을 줄이기 위해 두 개의 소프트 Q-함수를 최적화하고 업데이트에 최솟값을 사용한다.
• 확률적 정책을 역전파하기 위한 재매개화 트릭을 사용하여 확률적 정책을 통해 역전파한다.
• 듀얼 기울 업데이트를 통해 학습 가능한 온도 매개변수 alpha를 갖는 엔트로피 정규화 목적 함수를 채택한다.
• 안정성을 위해 오프폴리시 데이터에 대한 리플레이 풀과 타깃 네트워크를 사용한다.
• 정책 엔트로피가 듀얼 목적 함수를 통해 목표치에 맞도록 제약하는 자동 엔트로피 조정 메커니즘을 제공한다.

실험 결과

연구 질문

• RQ1 SAC가 연속 제어 과제에서 기존의 온폴리시 및 오프폴리시 방법에 비해 샘플 효율성과 최종 성능을 향상시킬 수 있는가?
• RQ2 최대 엔트로피에 자동 온도 조정을 도입하면 다양한 태스크와 무작위 시드에 걸쳐 학습의 안정성이 더 높아지는가?
• RQ3 이미지 관찰 또는 고차원 센서를 활용한 도전적인 실제 로봇 작업에서 SAC의 성능은 어떠한가?

주요 결과

• SAC는 샘플 효율성과 수렴 성능 측면에서 선행된 오프폴리시 및 온폴리시 방법에 비해 최첨단 성능을 달성한다.
• 알고리즘은 강한 안정성을 보여주며 서로 다른 무작위 시드에서도 유사한 성능을 보인다.
• 두 개의 소프트 Q-함수와 자동 엔트로피 조정 메커니즘이 학습의 안정성과 데이터 효율성을 개선하는 데 기여한다.
• SAC는 이미지 관찰에서의 4족 보행 및 정교한 로봇 조작과 같은 실제 도전 과제를 안정적으로 처리한다.