[논문 리뷰] Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk

Chengyang Ying, Xinning Zhou외 4명|arXiv (Cornell University)|2022. 06. 09.

Safety Systems Engineering in Autonomy인용 수 6

한 줄 요약

이 논문은 전이 및 관측 방해 상황에서의 위험을 제약하는 데 Conditional Value-at-Risk (CVaR)를 사용하는 새로운 안전 강화학습 알고리즘인 CVaR-Proximal-Policy-Optimization (CPPO)을 제안한다. 성능 저하와 Value Function Range (VFR) 간의 이론적 연관성을 통해 최악의 결과에 과도하게 페널티를 주지 않으면서도 내구성을 확보하여, MuJoCo 연속 제어 과제에서 전이 및 관측 방해 상황 모두에서 더 높은 누적 보상과 뛰어난 내구성을 달성한다.

ABSTRACT

Though deep reinforcement learning (DRL) has obtained substantial success, it may encounter catastrophic failures due to the intrinsic uncertainty of both transition and observation. Most of the existing methods for safe reinforcement learning can only handle transition disturbance or observation disturbance since these two kinds of disturbance affect different parts of the agent; besides, the popular worst-case return may lead to overly pessimistic policies. To address these issues, we first theoretically prove that the performance degradation under transition disturbance and observation disturbance depends on a novel metric of Value Function Range (VFR), which corresponds to the gap in the value function between the best state and the worst state. Based on the analysis, we adopt conditional value-at-risk (CVaR) as an assessment of risk and propose a novel reinforcement learning algorithm of CVaR-Proximal-Policy-Optimization (CPPO) which formalizes the risk-sensitive constrained optimization problem by keeping its CVaR under a given threshold. Experimental results show that CPPO achieves a higher cumulative reward and is more robust against both observation and transition disturbances on a series of continuous control tasks in MuJoCo.

연구 동기 및 목표

• 안전 강화학습에서 전이 및 관측 방해를 동시에 다루는 통합 분석 및 방법의 부재를 해결하기 위해.
• 최악의 경우 기반 방법의 과도한 경계성 문제를 해결하기 위해 CVaR를 사용한 위험 민감한 목적함수를 도입하기 위해.
• Value Function Range (VFR)를 통해 전이와 관측 간 구조적 다름에 따른 정책 내구성 간 이론적 연관성을 확립하기 위해.
• CVaR 제약을 궤적 수익에 적용하여 평균 성능을 희생시키지 않으면서 내구성을 향상시키는 실용적 알고리즘인 CPPO를 개발하기 위해.
• 전이 및 관측 방해 상황에서의 내구성과 누적 보상 측면에서 CPPO의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 전이 및 관측 방해 상황에서의 성능 저하가 Value Function Range (VFR)에 의해 제한되며, 이는 최고 및 최악의 상태 가치 간 격차로 정의된다.
• 궤적 수익의 CVaR를 위험 측도로 사용하며, 이는 가치 함수의 CVaR에 하한을 이룹니다. 또한 VFR보다 추정이 더 용이하다.
• 기대 누적 수익을 최대화하면서도 수익의 CVaR가 사전 정의된 임계값 이하로 유지되도록 제약 최적화 문제를 설정한다.
• CPPO 알고리즘은 Proximal Policy Optimization (PPO)을 확장하여 CVaR 정규화를 통합하고, 위험 제약 하에서 학습을 안정화시키기 위해 클리핑된 대체 목적함수를 사용한다.
• 위험 인식 정책 업데이트를 통합하여 더 높은 CVaR를 가진 궤적을 우선시함으로써, 전이 및 관측 방해에 대한 내구성을 향상시킨다.
• 실증 평가에서는 표준 MuJoCo 연속 제어 환경에 전이 및 관측 방해를 주입하여 내구성을 테스트한다.

실험 결과

연구 질문

• RQ1 Value Function Range (VFR)는 전이 및 관측 방해 상황에서 정책 내구성과 어떻게 관련이 있는가?
• RQ2 궤적 수익의 CVaR는 전이 및 관측 방해 상황 모두에서 위험 민감한 정책 최적화를 위한 실용적이고 효과적인 대체 측도로 기능할 수 있는가?
• RQ3 CVaR 제약 최적화 프레임워크는 동시에 발생하는 전이 및 관측 불확실성에 대비해 높은 성능과 내구성을 갖춘 정책을 도출할 수 있는가?
• RQ4 CPPO는 전이 및 관측 방해 상황에서 기존의 안전 강화학습 방법에 비해 누적 보상과 내구성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 최악의 경우 기반 접근법의 과도한 경계성 문제를 피하면서도 불확실성 하에서 강력한 성능을 유지할 수 있는가?

주요 결과

• CPPO는 HalfCheetah, Walker2d, Swimmer, Hopper 과제에서 PPO, VPG, TRPO, PG-CMDP보다 더 높은 누적 보상을 달성하여 샘플 효율성과 성능 향상을 입증한다.
• 전이 방해(질량 변동) 상황에서 CPPO는 기준선 대비 유의미하게 높은 성능을 유지하며, 특히 Swimmer와 Hopper에서 환경 동역학 변화에 대한 강력한 내구성을 보여준다.
• 관측 방해(Gaussian 노이즈) 상황에서 CPPO는 모든 기준선 대비 뛰어난 내구성을 보이며, 고노이즈 수준에서도 성능 저하가 최소화되어 관측 불확실성에 효과적임을 확인한다.
• CPPO는 VFR가 낮은 PG-CMDP와 VPG보다 내구성에서 뛰어나지만, 이는 VFR만에 의존하는 것이 아니라 CVaR 정규화를 통해 위험을 능동적으로 제어하기 때문이다.
• Appendix C에 보고된 lin에 따르면, CPPO는 모든 비교 기준선 대비 악성 관측 공격에 더 뛰어난 내구성을 보이며, 최악의 관측 오염에 대한 저항성을 확인한다.
• 이론적 분석을 통해 궤적 수익의 CVaR가 가치 함수의 CVaR에 하한을 이룬다는 것이 확인되었으며, 이는 정책 최적화에서 실용적인 위험 대체 측도로의 사용을 정당화한다.