[논문 리뷰] Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past

Che Wang, Keith W. Ross|arXiv (Cornell University)|2019. 06. 10.

Reinforcement Learning in Robotics참고 문헌 34인용 수 40

한 줄 요약

논문은 SAC를 개선하기 위해 Emphasizing Recent Experience (ERE)를 도입하여 재생(replay)을 최근 데이터에 편향되도록 하되 과거의 경험은 보존하고; 또한 ERE와 Prioritized Experience Replay (PER)의 결합을 탐구하고 Mujoco 환경에서 평가한다.

ABSTRACT

Soft Actor-Critic (SAC) is an off-policy actor-critic deep reinforcement learning (DRL) algorithm based on maximum entropy reinforcement learning. By combining off-policy updates with an actor-critic formulation, SAC achieves state-of-the-art performance on a range of continuous-action benchmark tasks, outperforming prior on-policy and off-policy methods. The off-policy method employed by SAC samples data uniformly from past experience when performing parameter updates. We propose Emphasizing Recent Experience (ERE), a simple but powerful off-policy sampling technique, which emphasizes recently observed data while not forgetting the past. The ERE algorithm samples more aggressively from recent experience, and also orders the updates to ensure that updates from old data do not overwrite updates from new data. We compare vanilla SAC and SAC+ERE, and show that ERE is more sample efficient than vanilla SAC for continuous-action Mujoco tasks. We also consider combining SAC with Priority Experience Replay (PER), a scheme originally proposed for deep Q-learning which prioritizes the data based on temporal-difference (TD) error. We show that SAC+PER can marginally improve the sample efficiency performance of SAC, but much less so than SAC+ERE. Finally, we propose an algorithm which integrates ERE and PER and show that this hybrid algorithm can give the best results for some of the Mujoco tasks.

연구 동기 및 목표

• 일관된 샘플링을 넘어 오프정책 DRL에서 재생 데이터를 보다 효과적으로 활용할 필요성을 제시한다.
• 과거 데이터를 보존하면서 최근 전이(트랜지션)에 우선순위를 두는 Emphasizing Recent Experience (ERE)을 제안한다.
• 연속 제어 작업에서 SAC+ERE를 SAC, SAC+PER, SAC+ERE+PER과 비교한다.
• ERE의 단순성, 계산 비용, 그리고 PER에 비한 견고성을 평가한다.
• ERE의 하이퍼파라미터 및 업데이트 순서의 중요성에 대한 지침을 제공한다.

제안 방법

• 소프트 액터-크리틱(SAC)과 그 균일 재생(uniform replay) 기준선을 기술한다.
• SAC+ERE를 도입한다: 가장 최근 데이터에서 샘플링하고 업데이트 순서를 가진 스킴으로 옛 데이터가 새 업데이트를 덮어쓰는 것을 피한다.
• SAC+PER을 도입한다: TD-오차 기반 우선순위를 사용하여 SAC에 비례 우선 경험 재생을 적용한다.
• SAC+ERE+PER을 제안한다: 비균일하고 최근 데이터 샘플링과 TD-오차 우선순위를 결합한다.
• 의사코드(pseudocode)를 제공하고 구현의 단순성과 하이퍼파라미터 민감성에 대해 논의한다.
• 다수 시드와 고정된 아키텍처를 사용하여 MuJoCo 연속 제어 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 ERE가 견고성을 해치지 않으면서 SAC의 샘플 효율성을 향상시키는가?
• RQ2 성능 이득과 복잡성 면에서 SAC에서 ERE와 PER은 어떻게 비교되는가?
• RQ3 ERE와 PER의 결합(SAC+ERE+PER)이 각 방법 단독보다 추가 이점을 제공하는가?
• RQ4 ERE의 성능을 좌우하는 주요 하이퍼파라미터(예: eta, c_min)와 업데이트 순서의 효과는 무엇인가?
• RQ5 MuJoCo 환경과 시드에 걸쳐 관찰된 ERE의 이득이 일반화가능한가?

주요 결과

• SAC+ERE는 여섯 개 MuJoCo 환경에서 초기 및 후반 학습 단계 모두에서 일반 SAC를 꾸준히 능가한다.
• SAC+ERE는 더 빠르게 더 높은 성능에 도달할 수 있으며(예: Ant-v2 예시), (0.994,0.999)의 eta 값과 어닐링에서 비교적 강건한 동작을 보인다.
• SAC+PER는 일부 환경에서 성능을 향상시킬 수 있지만(특히 Ant-v2), 환경 전반에 걸쳐 SAC+ERE보다 일관되게 유익하지는 않다.
• SAC+ERE+PER은 일부 환경에서 최상의 결과를 낼 수 있지만, 계산 비용이 더 크고 SAC+ERE만큼 단순하지 않다.
• SAC+ERE는 1.5M 타임스텝에서 여러 환경에서 시드에 걸친 성능 변동이 더 낮거나 비슷하여 견고성 향상을 보여준다.