[논문 리뷰] Meta-SAC: Auto-tune the Entropy Temperature of Soft Actor-Critic via Metagradient

Yufei Wang, Tianwei Ni|arXiv (Cornell University)|2020. 07. 03.

Reinforcement Learning in Robotics참고 문헌 22인용 수 18

한 줄 요약

이 논문은 소프트 액터-크리틱(SAC)의 엔트로피 온도를 자동으로 조정하는 메타기울기 기반 방법인 Meta-SAC을 제안한다. 추가적인 적응형 초모수를 도입하지 않고도 성능을 향상시킨다. 표준 RL 수익과 일치하는 새로운 메타목표를 최적화함으로써, 어려운 Mujoco 환경에서 최신 기술 수준의 성능을 달성하며, 특히 곤충형 인간형 환경에서 SAC-v2보다 10퍼센트 이상 높은 성능을 기록한다.

ABSTRACT

Exploration-exploitation dilemma has long been a crucial issue in reinforcement learning. In this paper, we propose a new approach to automatically balance between these two. Our method is built upon the Soft Actor-Critic (SAC) algorithm, which uses an "entropy temperature" that balances the original task reward and the policy entropy, and hence controls the trade-off between exploitation and exploration. It is empirically shown that SAC is very sensitive to this hyperparameter, and the follow-up work (SAC-v2), which uses constrained optimization for automatic adjustment, has some limitations. The core of our method, namely Meta-SAC, is to use metagradient along with a novel meta objective to automatically tune the entropy temperature in SAC. We show that Meta-SAC achieves promising performances on several of the Mujoco benchmarking tasks, and outperforms SAC-v2 over 10% in one of the most challenging tasks, humanoid-v2.

연구 동기 및 목표

• SAC의 엔트로피 온도 초모수에 대한 민감도를 해결함으로써 탐색과 이용의 균형을 비판적으로 조절한다.
• SAC-v2의 한계를 극복함: 자동으로 α를 적응시키지만, 목표 엔트로피 초모수를 조정이 필요로 함.
• 새로운 적응형 초모수를 도입하지 않고도 학습 중에 엔트로피 온도 α를 자동으로 적응시키는 방법을 개발한다.
• 표준 RL 평가 지표와 일치하는 메타목표를 설계하여 학습 효율성과 최종 성능을 향상시킨다.

제안 방법

• 학습 과정을 통해 역전파하여 새로운 메타손실을 최소화함으로써 메타기울기를 사용해 엔트로피 온도 α를 최적화한다.
• 메타손실을 정책이 한 번의 정책 업데이트 후 기대 수익으로 정의함으로써 표준 RL 목표와 평가 지표와 일치시킨다.
• 사슬법칙을 사용해 메타손실의 α에 대한 기울기를 유도함으로써, SAC 학습 중 α의 종단 간 최적화를 가능하게 한다.
• α에 대한 Q값 네트워크 출력의 미분을 피함으로써 수치적 불안정성을 방지하고, 대신 정책 기울기 업데이트에 의존한다.
• 메타기울기 업데이트를 SAC 알고리즘에 통합하여, 각 학습 단계에서 계산된 기울기를 사용해 α를 업데이트한다.
• 환경에서의 실제 성능을 반영하는 미분 가능 메타목표를 사용함으로써, 샘플 효율성과 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 메타기울기 접근법은 추가적인 적응형 초모수 없이 SAC의 엔트로피 온도 α를 자동으로 조정할 수 있는가?
• RQ2 학습 중에 Meta-SAC과 SAC-v2의 α 변화는 어떻게 다른가? 이는 탐색-이용 균형에 어떤 영향을 미치는가?
• RQ3 표준 RL 수익과 일치하는 제안된 메타목표는 기존 자동 α 조정 방법에 비해 더 높은 최종 성능을 이끌어내는가?
• RQ4 Meta-SAC은 고차원 상태 공간을 가진 곤충형 인간형 환경을 포함한 어려운 Mujoco 환경에서 어떻게 성능을 내는가?

주요 결과

• Meta-SAC은 어려운 곤충형 인간형 환경에서 최종 수익이 SAC-v2보다 10퍼센트 이상 높아, 복잡한 작업에서 뛰어난 성능을 입증한다.
• 더 쉬운 Mujoco 작업들(Ant-v2, Hopper-v2, Walker2d-v2)에서는 Meta-SAC이 SAC-v2와 유사한 성능를 기록하며, 그리드-서치로 조정된 α를 가진 SAC-v1보다 略로 떨어진다.
• Meta-SAC의 엔트로피 온도 α는 시간이 지남에 따라 크게 감소하여 후기 학습 단계에서 0에 가까워지며, 탐색에서 이용으로의 전환을 나타낸다.
• 반면 SAC-v2의 α는 초기 학습 이후 거의 일정하게 유지되어 학습 진행 상황에 대한 동적 적응이 제한됨을 시사한다.
• Meta-SAC의 α의 동적 적응은 샘플 효율성 향상과 더 빠른 수렴과 관련이 있으며, 특히 고차원 제어 작업에서 두드러진다.
• 절단 실험 결과, 제안된 메타목표가 다른 형태보다 더 효과적이며, RL 벤치마크에서 실제로 사용되는 평가 지표와 더 잘 일치함을 확인한다.