[논문 리뷰] Constrained Policy Optimization via Bayesian World Models

Yarden As, Ilnura Usmanova외 2명|arXiv (Cornell University)|2022. 01. 24.

Autonomous Vehicle Technology and Safety인용 수 11

한 줄 요약

LAMBDA는 확률적 세계 모델을 사용하여 낙관적 탐색과 비관적 제약 처리를 균형 잡는 안전한 비용이 발생하는 환경에서 정책을 최적화하는 베이지안 모델 기반 강화학습 알고리즘입니다. 불확실성 인식 트레이젝터리 롤아웃과 확장된 라그랑주 최적화를 활용하여 Safety-Gym SG6 벤치마크에서 최신 기술 수준의 샘플 효율성과 완벽한 제약 충족을 달성합니다.

ABSTRACT

Improving sample-efficiency and safety are crucial challenges when deploying reinforcement learning in high-stakes real world applications. We propose LAMBDA, a novel model-based approach for policy optimization in safety critical tasks modeled via constrained Markov decision processes. Our approach utilizes Bayesian world models, and harnesses the resulting uncertainty to maximize optimistic upper bounds on the task objective, as well as pessimistic upper bounds on the safety constraints. We demonstrate LAMBDA's state of the art performance on the Safety-Gym benchmark suite in terms of sample efficiency and constraint violation.

연구 동기 및 목표

• 실세계 강화학습에서의 샘플 비효율성과 안전성 문제를 해결하기 위해 고위험 환경에서 안전하고 효율적인 정책 학습을 가능하게 하기 위해.
• 비용 함수를 통해 모델링된 안전 제약 조건을 갖는 제약이 있는 마르코프 결정 과정(CMDP)으로 베이지안 모델 기반 강화학습을 확장하기 위해.
• 모델의 불확실성을 활용하여 낙관적 탐색과 비관적 안전 경계를 통해 샘플 효율성을 향상시키면서도 엄격한 제약 충족을 보장하기 위해.
• 환경의 동역학이나 안전 사양에 대한 사전 지식 없이도 종단 간 관측 기반 정책 학습을 가능하게 하기 위해.

제안 방법

• LAMBDA는 베이지안 세계 모델을 사용하여 모델 기반 트레이젝터리를 생성하며, 작업 목표에 대한 낙관적 상한과 안전 제약에 대한 비관적 상한을 추정합니다.
• 제약 최적화 문제를 해결하기 위해 확장된 라그랑주 방법을 사용하며, 작업 보상과 안전 비용 페널티를 모두 통합합니다.
• 세부적인 액터-크리틱 프레임워크를 통해 정책을 최적화하며, 세계 모델의 불확실성 추정치를 통해 기울기 역전파를 수행합니다.
• 세계 모델의 불확실성을 활용하여 낙관적 탐색을 이끌고 비관적 안전 경계를 강화하여 위험과 성능 간 균형을 맞춥니다.
• 다양한 모델 인스턴스에 대한 몬테카를로 샘플링을 사용하여 불확실성 하에서 기대 수익과 제약 위반을 추정합니다.
• 모델 불확실성을 계획 과정에 통합하여 CEM-MPC와 같은 단기적, 이성적인 계획에 의존하지 않습니다.

실험 결과

연구 질문

• RQ1 제약이 있는 MDP에서 베이지안 세계 모델을 효과적으로 활용하여 탐색과 안전성을 균형 잡을 수 있는가?
• RQ2 작업 목표의 낙관적 추정과 제약의 비관적 추정이 샘플 효율성과 제약 충족도 향상에 기여하는가?
• RQ3 Safety-Gym 벤치마크에서 LAMBDA는 모델 자유형 및 모델 기반 기준보다 안전성과 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ4 모델 불확실성이 실제 세계 제약 위반 없이 안전한 정책 학습을 가능하게 하는 데 얼마나 기여하는가?

주요 결과

• LAMBDA는 Safety-Gym SG6 벤치마크의 모든 작업에서 완벽한 제약 충족을 달성하며, 모든 기준 방법보다 뛰어난 성능을 보였다.
• LAMBDA는 샘플 효율성이 뛰어나 모델 자유형 및 모델 기반 기준 방법보다 더 빨리 학습하고 높은 성능을 달성했다.
• PointGoal2 작업에서 LAMBDA는 안전하지 않은 변형과 동일한 성능를 보였지만 안전성을 유지했으며, 이는 고위험이고 부분 관측 가능한 환경을 처리할 수 있는 능력을 보여주었다.
• 아블레이션 연구에서 비관적 안전 경계를 제거할 경우 제약 위반이 발생함을 확인하여 비관적 구성 요소의 필요성을 입증했다.
• CEM-MPC 계획법보다 LAMBDA가 뚜렷한 우위를 보이며, 비관적 기반의 방법보다 비관적 기반의 계획법이 장기적 계획과 크리틱 기반 최적화의 이점을 갖는다는 점을 입증했다.
• 부분 관측 가능성에도 불구하고 DoggoGoal1 작업에서 복잡한 이동 정책을 성공적으로 학습하여 제한된 상태 가시성에 대한 강건성을 보였다.