[논문 리뷰] Projection-Based Constrained Policy Optimization

Tsung-Yen Yang, Justinian Rosca외 2명|arXiv (Cornell University)|2020. 10. 07.

Reinforcement Learning in Robotics참고 문헌 19인용 수 81

한 줄 요약

PCPO 는 먼저 신뢰 영역 내에서 보상을 개선하고, 그 다음 정책을 제약 집합에 투영하여 안전성이나 다른 비용이 충족되도록 하는 두 단계의 반복 RL 알고리즘으로, 보상 및 제약 한계에 대한 이론적 보장을 제공합니다.

ABSTRACT

We consider the problem of learning control policies that optimize a reward function while satisfying constraints due to considerations of safety, fairness, or other costs. We propose a new algorithm, Projection-Based Constrained Policy Optimization (PCPO). This is an iterative method for optimizing policies in a two-step process: the first step performs a local reward improvement update, while the second step reconciles any constraint violation by projecting the policy back onto the constraint set. We theoretically analyze PCPO and provide a lower bound on reward improvement, and an upper bound on constraint violation, for each policy update. We further characterize the convergence of PCPO based on two different metrics: $ ormltwo$ norm and Kullback-Leibler divergence. Our empirical results over several control tasks demonstrate that PCPO achieves superior performance, averaging more than 3.5 times less constraint violation and around 15\% higher reward compared to state-of-the-art methods.

연구 동기 및 목표

• 미리 정의된 안전성, 공정성 또는 비용 제약 하에서 CMDPs에서 보상을 최대화하는 학습 정책을 유도합니다.
• 실행 가능성을 유지하기 위해 보상 개선과 제약 투영을 결합한 두 단계 정책 업데이트를 개발합니다.
• 업데이트당 보상 개선에 대한 이론적 한계와 제약 위반에 대한 상한을 제공합니다.
• 컨트롤 태스크에 대한 수렴 보장과 경험적 검증을 갖춘 실용적 알고리즘을 제공합니다.

제안 방법

• 두 단계 업데이트: (1) KL-발산-신뢰 영역 내에서 TRPO와 유사한 단계로 보상을 개선.
• (2) 중간 정책까지의 거리를 최소화하면서 제약을 투영 업데이트를 통해 강제하는 투영 단계.
• 투영은 정책 공간에서 KL 발산 또는 매개변수 공간에서 L2 노름 중 하나를 사용할 수 있습니다.
• 이론적 한계: 업데이트당 보상 개선의 하한과 제약 위반의 상한 (정리 3.1 및 3.2).
• 피셔 정보(H) 및 보상 g 및 비용 a의 기울기 벡터와 관련된 분석으로, 업데이트 규칙은 방정식 (6)에서 도출됩니다.
• 고차원 정책 공간에서 H 역전을 다루기 위해 공액 기울기를 사용한 구현.

실험 결과

연구 질문

• RQ1 학습 중 CMDP 제약을 만족시키면서 보상을 안정적으로 최대화하는 방법은 무엇인가?
• RQ2 PCPO의 업데이트당 이론적 보상 개선 및 제약 위반의 한계는 무엇인가?
• RQ3 KL 발산과 L2 노름 투영은 수렴 및 실행 가능성 측면에서 어떻게 비교되는가?
• RQ4 안전성과 공정성 태스크에서 최첨단 제약 RL 방법들과 비교하여 PCPO가 경험적으로 어떤 성능을 보이는가?

주요 결과

• PCPO는 테스트된 태스크에서 제약 위반을 3.5배 감소시키고 보상은 약 15% 더 높게 달성했다.
• 두 단계 업데이트(보상 개선 후 투영)는 제약에 대한 선 탐색이나 하이퍼파라미터 조정 없이도 실행 가능성을 유지한다.
• KL 투영과 L2 투영은 서로 다른 정상상태점에 수렴하며, 보상 안정성과 제약 충족 간의 균형이 다르게 나타난다.
• PCPO는 모든 태스크에서 제약 충족 정책을 일관되게 학습하며 제약 처리 측면에서 CPO 및 PDO를 능가한다.
• 제약 위반 b+의 증가가 최악의 경우 성능 한계에 악영향을 줄 수 있어 투영 단계의 중요성을 강조한다.