[논문 리뷰] EnTRPO: Trust Region Policy Optimization Method with Entropy Regularization

Sahar Roostaie, Mohammad Mehdi Ebadzadeh|arXiv (Cornell University)|2021. 10. 25.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 시간 단계에 걸쳐 이점 함수에 엔트로피 정규화를 통합하고 과거 경험을 유지하기 위해 리PLAY 버퍼를 도입함으로써 Trust Region Policy Optimization (TRPO)를 향상시킨 on-policy 강화 학습 알고리즘인 EnTRPO를 제안한다. 이 방법은 샘플 효율성과 성능을 향상시켜 표준 TRPO에 비해 Cart-Pole 환경에서 더 우수한 제어 성능을 달성한다.

ABSTRACT

Trust Region Policy Optimization (TRPO) is a popular and empirically successful policy search algorithm in reinforcement learning (RL). It iteratively solved the surrogate problem which restricts consecutive policies to be close to each other. TRPO is an on-policy algorithm. On-policy methods bring many benefits, like the ability to gauge each resulting policy. However, they typically discard all the knowledge about the policies which existed before. In this work, we use a replay buffer to borrow from the off-policy learning setting to TRPO. Entropy regularization is usually used to improve policy optimization in reinforcement learning. It is thought to aid exploration and generalization by encouraging more random policy choices. We add an Entropy regularization term to advantage over {\\pi}, accumulated over time steps, in TRPO. We call this update EnTRPO. Our experiments demonstrate EnTRPO achieves better performance for controlling a Cart-Pole system compared with the original TRPO

연구 동기 및 목표

• TRPO에 오프-정책 경험 리플레이를 통합하여 온-정책 강화 학습의 샘플 효율성과 정책 성능을 향상시키는 것.
• 누적 이점 함수에 적용된 엔트로피 정규화를 통해 TRPO의 탐색 능력과 일반화 능력을 향상시키는 것.
• 역할 영역 제약 조건을 유지하면서도 이전 데이터와 엔트로피 기반 정책 다양성을 활용하는 것.
• 연속 제어 작업에서 엔트로피 정규화와 리플레이가 수렴 속도와 최종 성능에 미치는 영향을 경험적으로 검증하는 것.

제안 방법

• TRPO의 시간 단계에 걸친 이점 함수에 엔트로피 정규화를 도입하여 정책 업데이트 목표를 수정함으로써 탐색을 장려한다.
• 과거 트레이젝터리를 저장하고 재사용할 수 있는 리플레이 버퍼를 활용하여, TRPO의 온-정책 신뢰 영역 프레임워크를 유지하면서 오프-정책 학습을 가능하게 한다.
• 과도하게 결정적인 정책을 방지하기 위해 가중 엔트로피 항을 포함한 서면 목표 함수를 수정한다.
• 정책 업데이트의 크기를 제한하여 안정적이고 단조로운 향상을 보장하는 신뢰 영역 제약 조건을 적용한다.
• KL 발산 제약 조건을 통해 정책 안정성을 유지하면서 정규화된 목표를 최적화하기 위해 확률적 경사상승법을 사용한다.
• 시간 단계에 걸쳐 엔트로피 정규화를 누적하여 에피소드 전반에 걸쳐 일관된 탐색 행동을 유지한다.

실험 결과

연구 질문

• RQ1 누적 이점 함수에 적용된 엔트로피 정규화가 TRPO의 정책 성능 향상과 탐색 능력 향상에 기여하는가?
• RQ2 TRPO에 리플레이 버퍼를 통합함으로써 정책 안정성에 영향을 주지 않으면서 샘플 효율성이 향상되는가?
• RQ3 엔트로피 정규화와 경험 리플레이의 조합이 제어 작업에서 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ4 EnTRPO는 Cart-Pole 환경에서 학습 효율성과 최종 성능 측면에서 표준 TRPO에 비해 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• EnTRPO는 표준 TRPO에 비해 Cart-Pole 환경 제어 성능이 향상되어 더 높은 샘플 효율성과 빠른 수렴 속도를 보였다.
• 엔트로피 정규화 통합으로 인해 더 탐색적이고 강건한 정책이 도출되어 비최적 행동으로의 조기 수렴을 줄였다.
• 리플레이 버퍼 사용으로 과거 경험을 재사용할 수 있어 데이터 효율성이 향상되었으며, 동시에 학습이 불안정해지지 않았다.
• 시간 단계에 걸쳐 누적된 엔트로피 정규화로 인해 정책 다양성과 에피소드 간 일반화 능력이 향상되었다.
• 경험 결과로 EnTRPO가 평균 수익과 학습 안정성 측면에서 TRPO를 일관되게 능가하는 것으로 나타났다.