[논문 리뷰] A Primal Approach to Constrained Policy Optimization: Global Optimality and Finite-Time Analysis

Tengyu Xu, Yingbin Liang외 1명|arXiv (Cornell University)|2021. 05. 04.

Reinforcement Learning in Robotics참고 문헌 61인용 수 14

한 줄 요약

이 논문은 제약 조정 정책 최적화(CRPO)를 제안한다. 이는 정책 목적 함수를 번갈아가며 향상시키고 제약 조건을 강제 적용함으로써 안전 강화 학습(SRL)을 위한 원천적 접근법이다. 자연 정책 기울기 업데이트를 사용함으로써 CRPO는 제약 조건 집합 내에서 전역 최적 정책으로 O(1/T) 수렴 속도를 달성하고, O(1/T)의 제약 위반 오차를 보장한다. 이는 비볼록 목적 함수와 제약 조건이 존재하는 SRL 문제에 대해 전역 최적성 보장을 갖는 최초의 유한 시간 분석이다.

ABSTRACT

Safe reinforcement learning (SRL) problems are typically modeled as constrained Markov Decision Process (CMDP), in which an agent explores the environment to maximize the expected total reward and meanwhile avoids violating certain constraints on a number of expected total costs. In general, such SRL problems have nonconvex objective functions subject to multiple nonconvex constraints, and hence are very challenging to solve, particularly to provide a globally optimal policy. Many popular SRL algorithms adopt a primal-dual structure which utilizes the updating of dual variables for satisfying the constraints. In contrast, we propose a primal approach, called constraint-rectified policy optimization (CRPO), which updates the policy alternatingly between objective improvement and constraint satisfaction. CRPO provides a primal-type algorithmic framework to solve SRL problems, where each policy update can take any variant of policy optimization step. To demonstrate the theoretical performance of CRPO, we adopt natural policy gradient (NPG) for each policy update step and show that CRPO achieves an O(1/T) convergence rate to the global optimal policy in the constrained policy set and an O(1/T) error bound on constraint satisfaction. This is the first finite-time analysis of SRL algorithms with global optimality guarantee. Our empirical results demonstrate that CRPO can outperform the existing primal-dual baseline algorithms significantly.

연구 동기 및 목표

• 비볼록 목적 함수와 제약 조건이 존재하는 상황에서 안전 강화 학습(SRL)에서 전역 최적성을 달성하는 데 도전하는 것.
• 대부분의 기존 SRL 방법이 이중 변수 업데이트에 의존하는 것과 달리, 이중 변수 업데이트에 의존하지 않는 원천적 알고리즘 프레임워크를 개발하는 것.
• 제약 조건이 있는 MDP로 모odel링된 SRL 문제에 대해 전역 최적성 보장과 함께 유한 시간 수렴 분석을 제공하는 것.
• 제안된 방법이 기존의 원천-이중 SRL 기반 방법보다 안전성과 성능 면에서 뛰어나다는 것을 경험적으로 검증하는 것.

제안 방법

• CRPO는 번갈아가며 업데이트하는 방식을 사용한다: 먼저 정책 목적 함수를 향상시키고, 그 다음 제약 조건을 만족하도록 정책을 수정한다.
• 각 정책 업데이트 단계는 안정적이고 효율적인 정책 향상을 보장하기 위해 자연 정책 기울기(NPG)를 사용한다.
• 각 목적 함수 업데이트 후 정책을 투영하거나 수정함으로써 제약 조건 집합을 유지하여 기대 비용 제약 조건을 충족시킨다.
• 이 방법은 이중 공간에서의 제약 조건 강제 적용을 직접적으로 수행함으로써 이중 변수 추정을 피함으로써 구현과 분석을 단순화한다.
• 이론적 분석은 제약 조건이 있는 MDP의 구조와 NPG의 성질을 활용하여 유한 시간 수렴 속도를 도출한다.
• 이 프레임워크는 일반적이며 NPG 이외의 정책 최적화 변형과도 통합 가능하지만, 이론적 분석에는 NPG가 사용된다.

실험 결과

연구 질문

• RQ1 비볼록 목적 함수와 제약 조건이 존재하는 SRL의 제약 조건 정책 최적화에서 원천적 접근법이 전역 최적성을 달성할 수 있는가?
• RQ2 비볼록 목적 함수와 제약 조건이 존재하는 SRL 문제에서 원천적 SRL 알고리즘의 유한 시간 수렴 속도는 제약 조건 집합 내 전역 최적 정책으로 얼마나 되는가?
• RQ3 이러한 원천적 방법은 정량화 가능한 속도로 제약 위반을 유한하게 유지할 수 있는가?
• RQ4 실제로 이러한 원천적 방법은 기존의 원천-이중 SRL 알고리즘과 비교해 성능가능한가?
• RQ5 이중 변수 업데이트에 의존하지 않고도 안전 강화 학습(SRL)에서 전역 최적성을 유한 시간 보장과 함께 달성할 수 있는가?

주요 결과

• CRPO는 반복 횟수 T에 대해 제약 조건 집합 내 전역 최적 정책으로 O(1/T) 수렴 속도를 달성한다.
• 알고리즘은 제약 조건 이행에 대해 O(1/T) 오차 한계를 보장하여 제약 위반의 감소 속도가 정량화 가능하다.
• 이것은 전역 최적성 보장을 갖는 최초의 안전 강화 학습 알고리즘에 대한 유한 시간 분석이다.
• 경험적 평가 결과, CRPO는 기존의 원천-이중 SRL 기반 방법보다 샘플 효율성과 제약 조건 이행 면에서 뛰어나게 성능을 발휘한다.
• 목적 함수와 제약 조건 업데이트를 번갈아가며 수행하는 원천적 접근법은 효과적이며 이론적으로도 타당하여 이중 기반 방법의 유력한 대안이 된다.
• CRPO 내부에서 자연 정책 기울기의 사용은 안정적이고 효율적인 정책 업데이트를 보장하여 이론적 수렴 속도를 가능하게 한다.