[논문 리뷰] Population-Guided Parallel Policy Search for Reinforcement Learning

Whiyoung Jung, Giseung Park외 1명|arXiv (Cornell University)|2020. 01. 09.

Reinforcement Learning in Robotics참고 문헌 34인용 수 6

한 줄 요약

이 논문은 다수의 동일한 학습자가 공통의 경험 재생 버퍼를 공유하고 최고 성능을 보인 정책으로부터의 소프트 가이던스를 통해 공동으로 최적의 정책을 탐색하는 새로운 오프-폴리시 강화학습 프레임워크인 Population-Guided Parallel Policy Search (P3S)를 제안한다. 최고의 정책의 행동을 수정된 손실 함수에 통합하고 정책 다양성을 유지함으로써, P3S는 수렴 속도를 높이고 성능을 향상시키며, 특히 보상이 희박한 환경에서 뛰어난 성능을 발휘한다. 또한 기대 누적 수익의 단조적 향상을 보장한다.

ABSTRACT

In this paper, a new population-guided parallel learning scheme is proposed to enhance the performance of off-policy reinforcement learning (RL). In the proposed scheme, multiple identical learners with their own value-functions and policies share a common experience replay buffer, and search a good policy in collaboration with the guidance of the best policy information. The key point is that the information of the best policy is fused in a soft manner by constructing an augmented loss function for policy update to enlarge the overall search region by the multiple learners. The guidance by the previous best policy and the enlarged range enable faster and better policy search. Monotone improvement of the expected cumulative return by the proposed scheme is proved theoretically. Working algorithms are constructed by applying the proposed scheme to the twin delayed deep deterministic (TD3) policy gradient algorithm. Numerical results show that the constructed algorithm outperforms most of the current state-of-the-art RL algorithms, and the gain is significant in the case of sparse reward environment.

연구 동기 및 목표

• 보상이 희박한 강화학습 환경에서 느리고 최적화되지 않은 학습 문제를 해결하기 위해.
• 다중 에이전트 간의 협동 학습을 활용하여 오프-폴리시 딥 강화학습의 샘플 효율성과 수렴 속도를 향상시키기 위해.
• 정책 공간에서 넓은 탐색 영역을 유지하여 부분 최적 정책로의 조기 수렴을 방지하기 위해.
• 기존의 TD3와 같은 오프-폴리시 알고리즘에 이론적으로 탄탄한 모듈러한 개선 사항을 제공하여 기대 수익의 단조적 향상을 보장하기 위해.
• 기본 알고리즘의 아키텍처 변경 없이도 실용적이고 확장 가능하며 쉽게 구현 가능한 병렬 학습을 가능하게 하기 위해.

제안 방법

• 서로 다른 정책 및 가치 함수 파라미터를 가진 다수의 동일한 학습자가 단일 공통 경험 재생 버퍼를 공유한다.
• 주기적으로 최고 성능을 보이는 정책을 식별하고, 그 정책의 파라미터를 소프트 가이던스로 브로드캐스트한다.
• 수정된 정책 업데이트 손실 함수에 각 학습자의 정책가 최고 정책과 가까이 있도록 유도하는 정규화 항을 포함하며, 이는 학습 가능한 가중치 β를 가진다.
• 각 학습자의 정책과 최고 정책 사이에 최소 거리 제약 조건(d_min)을 적용하여 정책 공간 내의 다양성을 유지하고 탐색 영역 붕괴를 방지한다.
• TD3에 적용하기 위해 정책 손실을 수정하여 소프트 가이던스 항을 포함한다: L̃(ϕⁱ) = -𝔼[Q₁(s,πϕⁱ(s))] + 1_{i≠b} (β/2) ||πϕⁱ(s) - πϕᵇ(s)||².
• 매 M단계마다 주기적으로 최고 정책을 재평가하고 가이던스 강도 β를 적응적으로 조정하는 주기적 업데이트 방식을 사용한다.

실험 결과

연구 질문

• RQ1 소프트 정책 가이던스를 통한 협동 학습은 오프-폴리시 딥 강화학습에서 샘플 효율성과 수렴 속도를 향상시키는가?
• RQ2 거리 제약 조건을 통한 정책 다양성 유지가 조기 수렴을 방지하고 최종 성능을 향상시키는가?
• RQ3 인구 기반 접근 방식이 학습 반복 과정 전반에 걸쳐 기대 누적 수익의 단조적 향상을 보장하는가?
• RQ4 제안된 방법은 보상이 희박한 환경에서 최신 기술 수준의 오프-폴리시 알고리즘과 비교해 어떻게 성능을 발휘하는가?
• RQ5 P3S 프레임워크는 아키텍처 변경 없이도 기존의 오프-폴리시 알고리즘(예: TD3)에 효과적이고 모듈러하게 통합될 수 있는가?

주요 결과

• P3S-TD3는 여러 개의 MuJoCo 환경에서 표준 TD3 및 기타 최신 기술 수준의 알고리즘보다 더 빠른 수렴 속도와 높은 최종 성능을 달성한다.
• 샘플 효율성이 핵심이 되는 보상이 희박한 환경, 예를 들어 Delayed HalfCheetah-v1 및 Delayed Ant-v1에서 성능 향상이 특히 두드러진다.
• 이론적으로 증명된 바와 같이, 알고리즘은 기대 누적 수익의 단조적 향상을 보이며, 시간이 지남에 따라 성능 저하 없이 안정적으로 향상된다.
• 소프트 가이던스와 함께 거리 제약 조건을 사용함으로써 탐색 영역 붕괴를 방지하고 넓은 탐색 영역을 유지하여 정책 다양성을 향상시킨다.
• 하이퍼파라미터 튜닝 결과, 환경에 따라 d_min = 0.02 또는 0.05로 설정되며, β는 가이던스와 탐색의 균형을 맞추기 위해 적응적으로 조정된다.
• 기본 알고리즘의 아키텍처 변경 없이도 적용 가능하므로 이는 알고리즘이 강건하고 일반화 가능하다는 것을 보여주며, TD3에 성공적으로 통합된 것으로 확인되었다.