[논문 리뷰] State-wise Constrained Policy Optimization

Weiye Zhao, Rui Chen외 3명|arXiv (Cornell University)|2023. 06. 21.

Reinforcement Learning in RoboticsComputer Science인용 수 3

한 줄 요약

이 논문은 고차원 로봇 제어에서 하드하고 즉각적인(상태 기반) 안전 제약 조건을 강제하는 강화학습을 위한 새로운 정책 그래เดียน트 방법인 상태 기반 제약 정책 최적화(ScPO)를 제안한다. 최대 마르코프 결정 과정(MMDP) 프레임워크를 도입함으로써 SCPO는 이론적으로 악성 안전 위반과 성능 저하를 제한하며, 신경망 정책을 사용하는 이동 및 위험 회피 작업에서 최신 기술 수준의 안전-성능 트레이드오프를 달성한다.

ABSTRACT

Reinforcement Learning (RL) algorithms have shown tremendous success in simulation environments, but their application to real-world problems faces significant challenges, with safety being a major concern. In particular, enforcing state-wise constraints is essential for many challenging tasks such as autonomous driving and robot manipulation. However, existing safe RL algorithms under the framework of Constrained Markov Decision Process (CMDP) do not consider state-wise constraints. To address this gap, we propose State-wise Constrained Policy Optimization (SCPO), the first general-purpose policy search algorithm for state-wise constrained reinforcement learning. SCPO provides guarantees for state-wise constraint satisfaction in expectation. In particular, we introduce the framework of Maximum Markov Decision Process, and prove that the worst-case safety violation is bounded under SCPO. We demonstrate the effectiveness of our approach on training neural network policies for extensive robot locomotion tasks, where the agent must satisfy a variety of state-wise safety constraints. Our results show that SCPO significantly outperforms existing methods and can handle state-wise constraints in high-dimensional robotics tasks.

연구 동기 및 목표

• 실제 강화학습 응용 분야에서의 안전 보장을 확보하지 못하는 문제를 해결하기 위해, 충돌 회피와 같은 즉각적인(상태 기반) 제약 조건에 초점을 맞춘다.
• 모델이 알려져 있지 않은 환경에서도 상태 기반 제약 조건을 기대값으로 만족시키는 일반적인 정책 최적화 알고리즘을 개발한다.
• 학습 중 악성 안전 위반과 성능 저하에 대한 이론적 경계를 제공한다.
• 고차원 제어 작업에서 엄격하고 실시간으로 요구되는 안전 제약 조건 하에서 딥 신경망 정책의 효과적인 학습을 가능하게 한다.

제안 방법

• 최악의 비용 누적 상황을 모델링하기 위해 최대 마르코프 결정 과정(MMDP) 프레임워크를 도입한다.
• 두 정책 간 최대 비용의 차이에 대한 이론적 경계를 유도하며, 신뢰 영역 정책 최적화 원리를 상태 기반 제약 조건으로 확장한다.
• 성능 저하가 제한되고 상태 기반 비용 제약 조건이 강제되는 정책 개선 단계를 설계한다.
• 학습 중 안전성을 유지하기 위해 이론적으로 타당한 업데이트를 약간의 제약 최적화 절차로 근사한다.
• 신뢰 영역 유사 업데이트에 최대 제약 위반에 대한 페널티 항목을 추가하여 보수적인 정책 업데이트를 보장한다.
• 보상 최적화와 제약 조건 이행을 균형 잡기 위해 이중 최적화 접근법을 사용하며, 비용 한도를 적응적으로 조정한다.

실험 결과

연구 질문

• RQ1 모델리스 환경에서 상태 기반 제약 조건 하에 정책을 학습할 때 악성 안전 위반과 성능 저하에 대한 이론적 보장을 제공할 수 있는가?
• RQ2 기존의 신뢰 영역 정책 최적화 프레임워크를 누적 또는 확률적 제약 조건이 아닌, 하드하고 즉각적인 제약 조건을 강제하도록 어떻게 확장할 수 있는가?
• RQ3 상태 기반 제약 조건 하에서 최대 비용과 정책 개선 간 이론적 관계는 무엇인가?
• RQ4 고차원 로봇 제어에서 높은 성능과 강력한 안전 보장을 동시에 달성하는 실용적인 알고리즘을 설계할 수 있는가?
• RQ5 복잡한 작업에서 기존의 안전 강화학습 기준선 대비 제안된 방법이 안전성, 샘플 효율성, 최종 성능 측면에서 어떻게 비교되는가?

주요 결과

• 드론-3DHazard-1 환경에서 SCPO는 평균 제약 위반률(ρc ≈ 0.0002)이 가장 낮아 TRPO-Lagrangian(0.0007)과 PCPO(0.0015)를 크게 앞서며, 최고의 성능을 보였다.
• Ant-Hazard-8 작업에서 SCPO는 매우 낮은 최대 비용(Mc ≈ 0.0327)을 유지하면서도 높은 수익(Jr ≈ 2.5873)을 달성했으며, CPO(Mc = 0.1330)와 PCPO(Mc = 0.1046)를 모두 능가했다.
• Swimmer-Hazard-8 작업에서 SCPO는 가장 높은 수익(Jr = 2.6317)을 기록했고, 제약 위반률(ρc = 0.0012)도 가장 낮아, TRPO(Jr = 2.6322, ρc = 0.0067)와 CPO(Jr = 2.6335, ρc = 0.0045)를 모두 능가했다.
• 모든 테스트 환경(Point-Hazard, Swimmer-Hazard, Drone-3DHazard, Ant-Hazard, Walker-Hazard)에서 SCPO는 모든 기준선보다 제약 위반을 지속적으로 감소시켰다.
• 수천 개의 정책 파rameter를 가진 고차원 제어 작업에서도 알고리즘이 안정성을 유지했으며, 동역학 모델에 대한 사전 지식 없이도 안전성을 확보했다.