[논문 리뷰] Revisiting Discrete Soft Actor-Critic

Haibin Zhou, Wei, Tong외 7명|arXiv (Cornell University)|2022. 09. 21.

Neural Networks and Reservoir Computing인용 수 11

한 줄 요약

이 논문은 이산 Soft Actor-Critic (SAC)을 재검토하며, 두 가지 핵심 실패 원인을 규명한다: 무한대에 가까운 엔트로피 업데이트로 인한 정책 불안정성과 클리핑된 더블 Q-러닝으로 인한 Q-값 과소평가. 이를 해결하기 위해 정책 업데이트를 제약하는 엔트로피 페널티와 값 추정을 안정화하는 더블 평균 Q-러닝에 Q-클립을 도입한 방법을 제안하며, 아타리 게임과 대규모 MOBA 게임(Honor of Kings)에서 성능을 크게 향상시킨다.

ABSTRACT

We study the adaption of Soft Actor-Critic (SAC), which is considered as a state-of-the-art reinforcement learning (RL) algorithm, from continuous action space to discrete action space. We revisit vanilla discrete SAC and provide an in-depth understanding of its Q value underestimation and performance instability issues when applied to discrete settings. We thereby propose Stable Discrete SAC (SDSAC), an algorithm that leverages entropy-penalty and double average Q-learning with Q-clip to address these issues. Extensive experiments on typical benchmarks with discrete action space, including Atari games and a large-scale MOBA game, show the efficacy of our proposed method. Our code is at: https://github.com/coldsummerday/SD-SAC.git.

연구 동기 및 목표

• 연속 영역에서는 성공을 거둔 바에 불구하고 이산 행동 공간에서의 바닐라 이산 SAC의 열악한 성능을 진단하고 해결하기 위해.
• 특히 무한대에 가까운 정책 업데이트와 클리핑된 더블 Q-러닝으로 인한 훈련 불안정성과 Q-값 과소평가의 근본 원인을 규명하기 위해.
• 엔트로피 페널티와 더블 평균 Q-러닝에 Q-클립을 도입해 이산 환경에서의 샘플 효율성과 훈련 안정성을 향상시키기 위해.
• 표준 벤치마크(아타리)와 대규모 산업용 MOBA 게임(허버드 오브 코링스)에서 제안된 방법을 검증하여 확장성을 입증하기 위해.

제안 방법

• 정책 최적화 목표에 엔트로피 페널티를 도입해 정책 업데이트의 크기를 제약함으로써 갑작스러운 엔트로피 변화로 인한 훈련 불안정성을 방지한다.
• 두 개의 Q-네트워크를 평균화하고 출력값을 고정된 범위로 클리핑하는 더블 평균 Q-러닝에 Q-클립을 제안함으로써 과소평가 편향을 감소시킨다.
• Q-값 추정을 제한하기 위해 Q-클립 범위 $ c $ 를 사용하며, 아블레이션 연구에서 $ c = 0.5 $ 가 최적임을 확인했다.
• 학습 가능한 엔트로피 페널티 계수 $ \beta $ 를 사용하며, $ \beta = 0.5 $ 가 탐색과 안정성의 균형을 잘 이루는 것으로 나타났다.
• 표준 상태 표현과 이산 행동 공간을 사용해 아타리 게임과 허버드 오브 코링스 1v1 환경에 방법을 적용한다.
• 성능 비교를 정량적으로 평가하기 위해 ELO 랭킹과 훈련 곡선을 활용한다.

실험 결과

연구 질문

• RQ1 왜 바닐라 이산 SAC는 연속 제어 영역에서는 성공했지만 아타리와 같은 이산 환경에서는 실패하는가?
• RQ2 정책 업데이트의 불안정성과 Q-값 추정 문제와 관련된 이산 SAC의 주요 실패 원인은 무엇인가?
• RQ3 엔트로피 페널티는 어떻게 이산 SAC의 정책 업데이트 안정성을 향상시킬 수 있는가?
• RQ4 더블 평균 Q-러닝에 Q-클립을 도입하면 이산 SAC에서 Q-값 과소평가를 효과적으로 줄일 수 있는가?
• RQ5 제안된 방법은 허버드 오브 코링스 1v1와 같은 대규모 복잡한 환경으로도 효과적으로 확장 가능한가?

주요 결과

• 제안된 방법은 모든 59종의 아타리 게임에서 바닐라 이산 SAC를 크게 능가하며, 인간 정규화 점수 평균 22.4% 향상됨.
• 허버드 오브 코링스 1v1 환경에서, 세 가지 평가 스크래치(24시간, 36시간, 48시간) 모두에서 이산 SAC보다 높은 ELO 랭킹 기록함.
• 손실 표면의 시각화 결과, 제안된 방법은 이산 SAC보다 더 평탄하고 볼록한 최적화 경로를 보이며, 더 부드러운 최적화 가능성을 시사함.
• 아블레이션 연구에서 $ \beta = 0.5 $ 와 $ c = 0.5 $ 가 안정성과 성능 간 최적의 균형을 이룸을 확인함.
• 훈련 불안정성이 감소하고 샘플 효율성이 향상되어, 특히 보상이 희박한 환경에서 두드러짐.
• 성능 향상에도 불구하고, 장기적 결정 과제에서는 여전히 성능이 열등하여, 장거리 시퀀스에서의 책임 할당 문제에 한계가 있음이 시사됨.