[논문 리뷰] Striving for Simplicity and Performance in Off-Policy DRL: Output Normalization and Non-Uniform Sampling

Che Wang, Yanqiu Wu외 2명|arXiv (Cornell University)|2019. 10. 05.

Power Line Communications and Noise참고 문헌 51인용 수 13

한 줄 요약

이 논문은 엔트로피 최적화를 사용하지 않고도 MuJoCo 연속 제어 벤치마크에서 최신 기술 수준의 샘플 효율성을 달성하는 간소화된 오프-폴리시 딥 강화 학습 알고리즘인 Streamlined Off-Policy with Emphasizing Recent Experience (SOP+ERE)을 제안한다. SAC의 엔트로피 정규화를 출력 정규화 또는 반전 기울기로 대체하고, 최근 경험을 우선시하는 단순한 비균일 샘플링 기법(ERE)을 결합함으로써, 한 번의 백만 개 샘플로 Ant와 Humanoid에서 각각 21%와 24% 향상된 성능을 달성하며 SAC의 성능를 재현하거나 초월한다.

ABSTRACT

We aim to develop off-policy DRL algorithms that not only exceed state-of-the-art performance but are also simple and minimalistic. For standard continuous control benchmarks, Soft Actor-Critic (SAC), which employs entropy maximization, currently provides state-of-the-art performance. We first demonstrate that the entropy term in SAC addresses action saturation due to the bounded nature of the action spaces, with this insight, we propose a streamlined algorithm with a simple normalization scheme or with inverted gradients. We show that both approaches can match SAC's sample efficiency performance without the need of entropy maximization, we then propose a simple non-uniform sampling method for selecting transitions from the replay buffer during training. Extensive experimental results demonstrate that our proposed sampling scheme leads to state of the art sample efficiency on challenging continuous control tasks. We combine all of our findings into one simple algorithm, which we call Streamlined Off Policy with Emphasizing Recent Experience, for which we provide robust public-domain code.

연구 동기 및 목표

• SAC과 같은 최신 기술 수준의 오프-폴리시 DRL 알고리즘에서 엔트로피 최적화의 진정한 기능 역할을 이해하는 것.
• 엔트로피 최적화의 복잡성을 피하는 최소한의 고성능 오프-폴리시 DRL 알고리즘을 개발하는 것.
• 단순한 비균일 리PLAY 버퍼 샘플링 전략을 통해 샘플 효율성을 향상시키는 것.
• 재현성과 실용적 사용을 위해 공개 가능한 강력한 구현을 제공하는 것.

제안 방법

• 제한된 행동 공간에서 행동 포화를 방지하기 위해 출력 정규화를 제안하여, SAC에서 엔트로피 최적화의 필요성을 대체한다.
• 목표 함수를 수정하지 않고도 탐색을 유지하기 위해 엔트로피 정규화의 대안으로 반전 기울기(IG)를 도입한다.
• 복잡한 데이터 구조 없이 최근 전이를 더 높은 확률로 샘플링하는 경량 비균일 샘플링 방법인 ERE(최근 경험 강조)를 개발한다.
• 간소화된 정책 업데이트와 ERE 샘플링을 조합하여 학습 효율성을 향상시키는 SOP+ERE 알고리즘을 구성한다.
• 쌍둥이 Q-네트워크, 타겟 네트워크, 경험 리PLAY를 사용하는 표준 오프-폴리시 훈련을 유지하지만, 샘플링 및 정책 출력 메커니즘을 수정한다.
• 고정된 타겟 업데이트 빈도와 표준 경험 리PLAY 버퍼를 사용하는 단순한 훈련 루프를 구현하며, Q-네트워크와 정책에 대한 기울기 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 SAC에서 MuJoCo 연속 제어 작업에 대해 엔트로피 항의 주요 기능 역할은 무엇인가?
• RQ2 엔트로피 최적화 없이도 최소한의 오프-폴리시 DRL 알고리즘이 SAC의 샘플 효율성을 재현할 수 있는가?
• RQ3 최근 경험을 강조하는 단순한 비균일 샘플링 전략은 균일 샘플링 또는 우선순위 기반 샘플링에 비해 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ4 출력 정규화와 최근 경험 강조의 조합이 도전적인 MuJoCo 환경에서 SAC를 초월할 수 있는가?

주요 결과

• SAC의 엔트로피 항은 탐색 자체보다 제한된 행동 공간으로 인한 행동 포화를 완화하는 데 주로 기여한다.
• 출력 정규화와 반전 기울기만으로도 엔트로피 최적화 없이도 MuJoCo 벤치마크에서 SAC의 샘플 효율성과 강건성을 재현할 수 있다.
• 제안된 ERE 샘플링 방법은 단순성과 성능 측면에서 균일 샘플링과 PER 모두를 뛰어넘는 뛰어난 샘플 효율성을 확보한다.
• SOP+ERE는 한 번의 백만 개 샘플로 Ant와 Humanoid 환경에서 각각 21%와 24% 향상된 샘플 효율성을 달성한다.
• 완전한 SOP+ERE 알고리즘은 도전적인 연속 제어 작업에서 최신 기술 수준의 성능를 달성하면서도 단순하고 최소한의 구조를 유지한다.
• 이 방법은 강건하며 공개 가능하여 재현성과 실용적 구현이 가능하다.