[논문 리뷰] Constraint-Conditioned Policy Optimization for Versatile Safe Reinforcement Learning

Yihang Yao, Zuxin Liu외 5명|arXiv (Cornell University)|2023. 10. 05.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 범용 가치 추정(VVE)과 조건부 변분 추론(CVI)을 통해 미리 훈련되지 않은 안전 제약 기준에 대해 제로샷 적응을 가능하게 하는 새로운 강화학습 프레임워크인 조건부 제약 정책 최적화(CCPo)를 소개한다. CCPO는 재훈련 없이도 높은 데이터 효율성으로 뛰어난 안전성과 작업 성능을 달성하며, 고차원 제어 과제에서 베이스라인을 능가한다.

ABSTRACT

Safe reinforcement learning (RL) focuses on training reward-maximizing agents subject to pre-defined safety constraints. Yet, learning versatile safe policies that can adapt to varying safety constraint requirements during deployment without retraining remains a largely unexplored and challenging area. In this work, we formulate the versatile safe RL problem and consider two primary requirements: training efficiency and zero-shot adaptation capability. To address them, we introduce the Conditioned Constrained Policy Optimization (CCPO) framework, consisting of two key modules: (1) Versatile Value Estimation (VVE) for approximating value functions under unseen threshold conditions, and (2) Conditioned Variational Inference (CVI) for encoding arbitrary constraint thresholds during policy optimization. Our extensive experiments demonstrate that CCPO outperforms the baselines in terms of safety and task performance while preserving zero-shot adaptation capabilities to different constraint thresholds data-efficiently. This makes our approach suitable for real-world dynamic applications.

연구 동기 및 목표

• 재훈련 없이 다양한 안전 제약 기준에 적응할 수 있는 유연한 안전 강화학습 정책을 훈련하는 데 도전하는 것.
• 모든 가능한 제약 기준 기준에 대해 사전 훈련이 필요 없도록 훈련 효율성을 향상시키는 것.
• 강화학습 정책을 제약 기준 기준에 따라 조건화하여 새로운 기준 기준에 대해 제로샷 일반화를 가능하게 하되, 강력한 안전 보장을 유지하고 작업 성능을 높이는 것.

제안 방법

• 이식 학습 원리에 기반해 새로운 제약 기준 기준에 대해 일반화된 Q-값을 추정할 수 있는 가치 함수 표현 학습 방법인 범용 가치 추정(VVE)을 도입한다.
• 훈련 중에 임의의 제약 기준 기준에 따라 정책을 조건화하기 위해 조건부 변분 추론(CVI)을 활용하여 엔드 투 엔드 미분 가능한 정책 최적화를 가능하게 한다.
• 조건부 변분 추론 프레임워크를 사용해 정책을 제약 기준 기준의 함수로 모델링함으로써, 추론 시에 새로운 기준 기준에 대해 행동 정책을 추론할 수 있도록 한다.
• VVE와 CVI를 통합된 온라인 훈련 프레임워크로 조합하여 조건부 제약 하에서 정책 및 가치 함수를 동시에 최적화한다.
• 제약 조건을 효율적으로 처리하기 위해 추론 과정의 E단계에서 볼록 최적화를 적용하여 안전성과 안정성을 보장한다.
• 재튜닝 없이도 새로운 기준 기준에 대해 데이터 효율적인 일반화를 가능하게 하는 행동 정책 조건화 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 재훈련이나 튜닝 없이도 하나의 안전 RL 정책이 새로운 안전 제약 기준 기준에 일반화될 수 있는가?
• RQ2 운영 중에 이전에 본 적 없는 제약 기준 기준에 대해 가치 함수를 어떻게 추정할 수 있는가?
• RQ3 훈련 중에 정책을 제약 기준 기준에 따라 조건화하는 것이 제로샷 적응 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 방법은 기존의 제약이 있는 강화학습 접근법에 비해 안전성과 데이터 효율성 면에서 어떻게 비교되는가?
• RQ5 다양한 기준 기준 조건 하에서 높은 작업 성능을 유지하면서도 제약 위반을 최소화할 수 있는가?

주요 결과

• CCPO는 아웃라이어 제거된 버전과 베이스라인보다 훨씬 낮은 비용 위반(예: Ball-Circle에서 0.59 ± 0.31)을 달성하여 강력한 안전성 일반화를 입증한다.
• Ant-Run 과제에서 CCPO는 높은 보상(660.88 ± 4.82)과 낮은 비용 위반(3.13 ± 1.67)을 유지하지만, VVE가 제거된 아웃라이어 제거된 CCPO는 보상이 428.59 ± 88.39로 떨어지고 비용 위반은 10.66 ± 11.81로 증가한다.
• Drone-Run 과제에서 CCPO w/o VVE 버전은 평균 보상이 25% 감소하고 비용 위반은 6배 이상 증가하여 VVE가 가치 일반화에 있어 핵심적인 역할을 함을 보여준다.
• CCPO w/o CVI 버전은 비용 위반(예: Ball-Circle에서 1.44 ± 0.72)이 더 높고 보상(641.33 ± 40.14)이 낮아, CVI가 제약 기준 기준에 따라 조건화된 정책 학습에서 중요함을 입증한다.
• Figure 2의 일관된 성능 곡선을 통해 CCPO는 제약 기준 조건에 걸쳐 매끄럽게 일반화됨을 보여주며, 제약 조건 조건이 효과적으로 인코딩되었음을 시사한다.
• 고차원 상태 및 행동 공간(예: Ant-Run)에서 모든 베이스라인 방법은 안전한 적응을 달성하지 못하지만, CCPO는 강력한 성능과 안전성을 유지한다.