[논문 리뷰] Penalized Proximal Policy Optimization for Safe Reinforcement Learning

Linrui Zhang, Li Shen외 5명|arXiv (Cornell University)|2022. 05. 24.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 정확한 페널티 함수를 사용하여 제약 조건이 있는 정책 최적화를 등가의 비제약 최적화 문제로 재구성함으로써 안전한 강화학습 알고리즘인 페널티 부여된 프록실 매크스 정책 최적화(P3O)를 제안한다. 또한 PPO의 클리핑된 서rogate 목적함수를 확장하여 안전성 제약 조건을 처리한다. P3O는 단일 및 다중 제약 조건, 다중 에이전트 환경에서 모두 보상 최대화와 제약 조건 충족 측면에서 기존 최상위 기법들보다 뛰어난 성능을 보이며, 표본 효율성과 확장성 면에서도 향상된 성능을 기록한다.

ABSTRACT

Safe reinforcement learning aims to learn the optimal policy while satisfying safety constraints, which is essential in real-world applications. However, current algorithms still struggle for efficient policy updates with hard constraint satisfaction. In this paper, we propose Penalized Proximal Policy Optimization (P3O), which solves the cumbersome constrained policy iteration via a single minimization of an equivalent unconstrained problem. Specifically, P3O utilizes a simple-yet-effective penalty function to eliminate cost constraints and removes the trust-region constraint by the clipped surrogate objective. We theoretically prove the exactness of the proposed method with a finite penalty factor and provide a worst-case analysis for approximate error when evaluated on sample trajectories. Moreover, we extend P3O to more challenging multi-constraint and multi-agent scenarios which are less studied in previous work. Extensive experiments show that P3O outperforms state-of-the-art algorithms with respect to both reward improvement and constraint satisfaction on a set of constrained locomotive tasks.

연구 동기 및 목표

• 기존의 제약 조건이 있는 강화학습 알고리즘의 한계, 즉 신뢰 영역 의존성, 헤시안 역행렬 계산, 비가능한 정책 복구의 필요성 해결
• 유한한 페널티 인자로 정확한 제약 조건 충족을 보장하고 이차 근사법을 피하는 안전한 강화학습 방법 개발
• 내부 루프 최적화 없이도 다중 제약 조건 및 다중 에이전트 환경에서 확장 가능하고 표본 효율적이며 안정적인 학습 지원
• 페널티 재구성의 정확성에 대한 이론적 보장과 페널티 인자의 실용적 튜닝 전략 제공
• 보상과 제약 조건 충족 측면에서 최신 기술들에 비해 P3O의 경험적 우수성 입증

제안 방법

• 정확한 페널티 함수를 사용하여 제약 조건이 있는 마르코프 결정 과정(CMDPs)을 등가의 비제약 최적화 문제로 재구성함으로써 신뢰 영역이나 헤시안 역행렬 계산의 필요성을 제거
• 보상과 비용 항목 모두에 대해 클리핑된 서rogate 목적함수를 도입하여 신뢰 영역 제약 없이 안정적인 정책 업데이트 가능
• 고정 또는 적응적으로 튜닝된 페널티 인자를 사용하여 보상 최대화와 제약 조건 충족 간 균형을 이루며, 충분히 큰 페널티 값에서의 정확성에 대한 이론적 증명 제공
• 손실 함수에 페널티 항목을 단순히 추가하여 다중 제약 조건 및 다중 에이전트 설정으로 확장함으로써 확장성 유지
• 다양한 환경과 제약 조건 기준치에서의 안정성 향상을 위해 이점 정규화와 적응적 페널티 스케줄링 적용
• 중앙집중식 및 분산식 학습 모두 지원하며, 중앙집중식 크리틱을 통해 성능 향상 달성

실험 결과

연구 질문

• RQ1 정확한 페널티 재구성은 제약 조건이 있는 정책 최적화에서 신뢰 영역 제약과 헤시안 역행렬 계산의 필요성을 제거할 수 있는가?
• RQ2 PPO의 클리핑된 서rogate 목적함수는 CMDPs에서 보상과 비용 목표를 모두 처리하도록 어떻게 확장할 수 있는가?
• RQ3 유한한 페널티 인자가 안전한 강화학습에서 정확한 제약 조건 충족을 보장하는 데 충분한가? 그리고 효과적으로 튜닝할 수 있는가?
• RQ4 제안된 방법은 계산 복잡도 증가 없이 다중 제약 조건 및 다중 에이전트 환경으로 확장 가능한가?
• RQ5 보상, 제약 조건 충족, 표본 효율성 측면에서 P3O는 최신 기술들에 비해 어떻게 비교되는가?

주요 결과

• P3O는 평가된 모든 환경에서 누적 수익과 제약 조건 충족 측면에서 PPO, CPO, PPO-Lagrangian을 모두 능가하는 뛰어난 성능 기록
• 알고리즘은 비용 상한선(예: cost1의 경우 25, cost2의 경우 20)에 정확히 수렴함으로써 오버슈트 없이 정확한 제약 조건 처리를 보여줌
• 다양한 페널티 인자 범위에서 안정적인 성능 유지하며, 고정된 페널티 값이 다양한 작업에서 일관된 결과 도출
• 다중 제약 조건 상황에서는 P3O가 둘 다 동시에 충족시키는 반면, 단일 제약 조건 기반 기법은 무시된 제약 조건을 제어하지 못함
• 다중 에이전트 환경에서는 MAP3O가 전역 수익을 향상시키면서도 충돌 제약 조건을 엄격히 준수하며, 중앙집중식 크리틱이 성능 향상과 제약 조건 준수 향상에 기여
• 임의의 초기 정책에 대해 강건하며, 비가능한 정책의 경우 추가 복구 단계가 필요 없어 어떤 초기화로부터도 일관된 학습 보장