[논문 리뷰] CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee

Tengyu Xu, Yingbin Liang외 1명|arXiv (Cornell University)|2020. 11. 11.

Reinforcement Learning in Robotics참고 문헌 66인용 수 22

한 줄 요약

이 논문은 이중 변수를 사용하지 않고 보상 최적화와 제약 위반 보정을 번갈아가며 수행하는 안전 강화학습을 위한 새로운 원시적 접근법인 제약 보정 정책 최적화(CRPO)를 제안한다. CRPO는 전역 최적 정책으로의 수렴 속도가 O(1/√T)이며, 제약 만족 오차 또한 O(1/√T)를 보이며, 원시 SRL 알고리즘 중에서 전역 최적성 보장을 갖는 최초의 유한시간 분석을 제공한다.

ABSTRACT

In safe reinforcement learning (SRL) problems, an agent explores the environment to maximize an expected total reward and meanwhile avoids violation of certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an $\\mathcal{O}(1/\\sqrt{T})$ convergence rate to the global optimal policy in the constrained policy set and an $\\mathcal{O}(1/\\sqrt{T})$ error bound on constraint satisfaction. This is the first finite-time analysis of primal SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

연구 동기 및 목표

• 원시 유형의 안전 강화학습(SRL) 알고리즘에서 증명 가능한 전역 수렴성의 부족을 해결하기 위해.
• 특히 이중 변수 학습률과 초기화에 민감한 하이퍼파라미터 문제를 피할 수 있는 방법을 개발하기 위해.
• 원시 SRL 알고리즘에 대해 전역 최적성 보장과 함께 유한시간 수렴 속도를 확립하기 위해.
• 기존의 원시-이중 SRL 방법보다 성능을 동등하거나 초월할 수 있는 원시 접근법이 가능함을 보여주기 위해.

제안 방법

• CRPO는 보상 목적을 위한 비제약 정책 최적화와 위반된 제약을 위한 비제약 정책 최소화를 번갈아 수행한다.
• 보상 최대화와 제약 보정을 모두 자연 정책 기울기(NPG) 업데이트를 통해 수행하여 이중 변수 업데이트를 피한다.
• 정책 업데이트를 제약 조건의 허용 범위를 초과하지 않도록 보장하기 위해, 투영 임계값이 아닌 정책 기울기 단계만을 통해 실행한다.
• 두 단계 업데이트를 수행한다: 먼저 보상 최적화를 위해 정책을 향상시키고, 이후 제약 위반이 발생하면 즉시 제약 함수를 최소화하여 정책를 수정한다.
• 이중 변수를 완전히 배제함으로써 원시-이중 방법에 비해 구현 복잡도와 하이퍼파라미터 조정을 줄였다.
• 이론적 분석은 KL 발산의 경계와 농도 불등식을 기반으로 하여 유한시간 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 이중 변수를 사용하지 않고도 원시 SRL 알고리즘이 최적의 타당 정책으로 전역 수렴할 수 있는가?
• RQ2 원시 SRL 알고리즘의 전역 최적 정책으로의 유한시간 수렴 속도는 무엇인가?
• RQ3 원시 접근법이 실질적으로 기존의 원시-이중 SRL 기반 알고리즘보다 뛰어난 성능을 낼 수 있는가?
• RQ4 이중 변수의 부재가 더 뛰어난 안정성과 하이퍼파라미터 조정 감소를 이끌어내는가?
• RQ5 제안된 원시 프레임워크에서 제약 위반과 보상 최대화 사이의 상충 관계는 무엇인가?

주요 결과

• CRPO는 제약 정책 집합 내에서 전역 최적 정책으로의 O(1/√T) 수렴 속도를 달성한다.
• 알고리즘은 제약 만족 오차에 대해 O(1/√T) 경계를 보장하여, 제약 위반이 이 속도로 감소함을 의미한다.
• 이 수렴 속도는 유한시간 분석 기반으로 확립되었으며, 원시 SRL 알고리즘 중에서 최초의 결과이다.
• 실증 결과는 CRPO가 기존의 원시-이중 기반 알고리즘보다 성능 면에서 뚜렷이 뛰어나다는 것을 보여준다.
• 이 방법은 이중 변수 조정이 필요 없으며, 타당한 초기화도 필요로 하지 않아 구현을 단순화한다.
• 이론적 분석은 함수 근사 오차가 존재하더라도 알고리즘이 타당성과 수렴성을 유지함을 확인한다.