[논문 리뷰] PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay

Xingxing Liang, Yang Ma외 2명|arXiv (Cornell University)|2021. 12. 07.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 온정책 학습에 우선순위 기반 궤적 재생을 통합함으로써 샘플 효율성을 향상시키는 새로운 Proximal Policy Optimization 알고리즘인 PTR-PPO를 제안한다. GAE 값과 누적 보상에 기반해 궤적을 우선순위화하고, 오프정책 업데이트의 안정성을 높이기 위해 잘라낸 중요도 가중치를 사용함으로써, PTR-PPO는 아케이드 게임에서 최신 기준 성능(SOTA)을 달성하여 표준 PPO와 기존 오프정책 기준선을 능가한다.

ABSTRACT

On-policy deep reinforcement learning algorithms have low data utilization and require significant experience for policy improvement. This paper proposes a proximal policy optimization algorithm with prioritized trajectory replay (PTR-PPO) that combines on-policy and off-policy methods to improve sampling efficiency by prioritizing the replay of trajectories generated by old policies. We first design three trajectory priorities based on the characteristics of trajectories: the first two being max and mean trajectory priorities based on one-step empirical generalized advantage estimation (GAE) values and the last being reward trajectory priorities based on normalized undiscounted cumulative reward. Then, we incorporate the prioritized trajectory replay into the PPO algorithm, propose a truncated importance weight method to overcome the high variance caused by large importance weights under multistep experience, and design a policy improvement loss function for PPO under off-policy conditions. We evaluate the performance of PTR-PPO in a set of Atari discrete control tasks, achieving state-of-the-art performance. In addition, by analyzing the heatmap of priority changes at various locations in the priority memory during training, we find that memory size and rollout length can have a significant impact on the distribution of trajectory priorities and, hence, on the performance of the algorithm.

연구 동기 및 목표

• 일반적으로 낮은 데이터 활용도와 높은 데이터 요구량을 겪는 온정책 딥 강화학습의 샘플 효율성을 향상시키기.
• 희박한 보상 환경에서 균일한 경험 재생의 비효율성을 해결하기 위해 학습 잠재력이 높은 궤적을 우선순위화하기.
• 정책 업데이트의 안정성을 해치지 않으면서 온정책 PPO에 오프정책 재생 메커니즘을 통합하기.
• 중요도 샘플링에서 발생하는 높은 분산을 완화하기 위해 안정적인 오프정책 PPO 학습을 위한 강력한 손실 함수 개발하기.
• 메모리 크기와 롤아웃 길이가 궤적 우선순위 분포와 알고리즘 성능에 미치는 영향 조사하기.

제안 방법

• 세 가지 궤적 우선순위 지표 정의: 최대 및 평균 GAE 기반 우선순위, 정규화된 할인되지 않은 누적 보상 기반 우선순위.
• 합계 트리 기반 우선순위 메모리에 궤적을 저장하여 효율적인 우선순위 샘플링 가능하게 하기.
• 특히 다단계 경험에서 발생하는 분산을 줄이기 위해 잘라낸 중요도 가중치 추정 방법 제안.
• 오프정책 설정에서의 안정적인 정책 향상을 위해 잘라낸 중요도 가중치를 통합한 수정된 PPO 손실 함수 설계.
• 액터가 궤적을 생성하고 우선순위를 계산하며 우선순위 메모리에 저장하고, 런너가 샘플된 궤적을 사용해 정책을 업데이트하는 런너-액터 아키텍처 사용.
• 힙맵 분석을 통해 메모리 크기와 롤아웃 길이가 우선순위 분포와 학습 효율성에 미치는 영향을 연구.

실험 결과

연구 질문

• RQ1 우선순위 기반 궤적 재생은 온정책 PPO 학습에서 샘플 효율성을 어떻게 향상시키는가?
• RQ2 온정책 DRL에서 재생을 이끄는 데 가장 효과적인 궤적 우선순위 지표는 무엇인가?
• RQ3 우선순위 기반 재생을 사용할 때 잘라낸 중요도 가중치가 오프정책 PPO 업데이트의 분산을 효과적으로 줄일 수 있는가?
• RQ4 메모리 크기와 롤아웃 길이와 같은 하이퍼파라미터가 궤적 우선순위 분포와 전체 학습 성능에 미치는 영향은 어떠한가?
• RQ5 우선순위 기반 재생을 통한 하이브리드 온정책/오프정책 접근 방식이 표준 아케이드 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• PTR-PPO는 아케이드 이산 제어 작업 세트에서 최신 기준 성능(SOTA)을 달성하여 표준 PPO와 기존 오프정책 기준선을 능가한다.
• GAE 기반 및 보상 기반 궤적 우선순위를 사용할 경우 학습 속도와 최종 성능가 모두 향상되며, 메모리 크기 256일 때 가장 우수한 성능를 기록한다.
• 힙맵 분석 결과, 메모리 크기가 우선순위 차별화에 크게 영향을 미치는 것으로 나타났다: 메모리 크기 256은 최적의 우선순위 다양성과 성능를 제공하며, 더 작은 크기(예: 32)는 몇몇 궤적의 과도한 샘플링을 유도한다.
• 롤아웃 길이는 학습 동역학에 강력한 영향을 미치며, 길이 8이 가장 우수한 성능를 기록했고, 16이 뒤이어 뒤를 잇고, 4는 가장 열악한 성능를 보였다. 이는 우선순위 차별화가 최적화되지 않았기 때문이다.
• 궤적 우선순위 분포는 시간이 지남에 따라 변화하며, 히트맵에서 명확한 경계점이 관찰되는데, 이는 학습 단계(예: 상승기 vs. 정체기)에 해당하며, 우선순위 동역학이 학습 진행 상황을 반영한다는 것을 시사한다.
• 롤아웃 길이가 8일 때 보상 기반 우선순위 지표가 가장 유리한 우선순위 차별화를 보였으며, 이는 궤적 중요도와 다양성을 최적의 균형으로 유지하는 구성임을 시사한다.