[논문 리뷰] Safe and Efficient Reinforcement Learning Using Disturbance-Observer-Based Control Barrier Functions

Yikun Cheng, Zhao Pan외 1명|arXiv (Cornell University)|2022. 11. 30.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 불확실성 모델 학습이 필요 없이 안전성을 보장하는 모델-프리 안전 강화학습 프레임워크를 제안한다. 간섭 관측기 기반 제어 장벽 함수(DOB-CBF)를 사용하여 실시간으로 간섭을 추정하고, 정수계획법을 통해 강력한 CBF 조건을 이행함으로써, GP 기반 CBF 방법에 비해 훨씬 낮은 안전 위반률과 높은 샘플 및 계산 효율성을 달성하였다. 이는 일자형 자전거 및 2D 큐드로터에서 검증되었다.

ABSTRACT

Safe reinforcement learning (RL) with assured satisfaction of hard state constraints during training has recently received a lot of attention. Safety filters, e.g., based on control barrier functions (CBFs), provide a promising way for safe RL via modifying the unsafe actions of an RL agent on the fly. Existing safety filter-based approaches typically involve learning of uncertain dynamics and quantifying the learned model error, which leads to conservative filters before a large amount of data is collected to learn a good model, thereby preventing efficient exploration. This paper presents a method for safe and efficient RL using disturbance observers (DOBs) and control barrier functions (CBFs). Unlike most existing safe RL methods that deal with hard state constraints, our method does not involve model learning, and leverages DOBs to accurately estimate the pointwise value of the uncertainty, which is then incorporated into a robust CBF condition to generate safe actions. The DOB-based CBF can be used as a safety filter with model-free RL algorithms by minimally modifying the actions of an RL agent whenever necessary to ensure safety throughout the learning process. Simulation results on a unicycle and a 2D quadrotor demonstrate that the proposed method outperforms a state-of-the-art safe RL algorithm using CBFs and Gaussian processes-based model learning, in terms of safety violation rate, and sample and computational efficiency.

연구 동기 및 목표

• 불확실성 정량화를 위해 가우시안 프로세스 회귀를 사용하는 기존의 안전 강화학습 방법의 비효율성과 과도한 보수성 문제를 해결한다.
• 역동적 모델 학습이 필요 없이도 모델-프리 강화학습에서 안전 탐색을 가능하게 하여 하드한 안전 제약 조건을 유지한다.
• 계산 비용이 높은 가우시안 프로세스 모델을 간섭 관측기로 대체하여 샘플 및 계산 효율성을 향상시킨다.
• 정확한 실시간 간섭 추정과 사전 계산 가능한 추정 오차 한계를 통해 강력한 안전성을 확보한다.
• 상태-최적의 GP 기반 불확실성 모델링을 사용하는 CBF 기반 안전 강화학습에 비해 뛰어난 안전성과 효율성을 입증한다.

제안 방법

• 실시간으로 뭉치된 불확실성(모델링되지 않은 역학)의 점별 값을 추정하기 위해 간섭 관측기(DOB)를 활용한다.
• DOB의 간섭 추정 정확도를 정량화하기 위해 사전 계산 가능한 추정 오차 한계(EEB)를 사용한다.
• 추정된 간섭과 EEB를 강력한 제어 장벽 함수(CBF) 조건에 통합하여 안전성을 확보한다.
• 강력한 CBF 조건을 만족하는 최소한의 동작 보정을 계산하기 위해 정수계획법(QP)을 적용하며, 이로 인해 정책의 편이를 최소화하면서도 안전성을 유지한다.
• 정책 학습 과정을 수정하지 않고도 어떤 모델-프리 강화학습 알고리즘과도 원활하게 통합 가능한 안전 필터로 작동한다.
• 진짜 시스템 역학이나 불확실성 분포 학습이 필요 없이 알려진 노미널 모델만을 기반으로 한다.

실험 결과

연구 질문

• RQ1 간섭 관측기 기반 CBF 프레임워크는 역동적 모델 학습이 필요 없이 모델-프리 강화학습에서 안전 탐색을 달성할 수 있는가?
• RQ2 훈련 중 안전 위반률 측면에서 DOB-CBF 방법은 GP 기반 CBF 방법과 어떻게 비교되는가?
• RQ3 고차원 로봇 제어 과제에서 DOB-CBF-RL의 계산 및 샘플 효율성은 GP-CBF-RL에 비해 어떻게 되는가?
• RQ4 다양한 훈련 단계에서 간섭 관측기가 제공하는 간섭 추정은 얼마나 안정적이고 정확한가?
• RQ5 DOB-CBF 프레임워크는 안전성을 유지하면서 얼마나 더 공격적이고 효율적인 정책 학습을 가능하게 하는가?

주요 결과

• 2D 큐드로터에서 DOB-CBF-RL은 최종 1500–2000번의 훈련 에피소드 동안 안전 위반률 0.0%를 기록했고, GP-CBF-RL은 40.4%를 기록했다.
• 초기 훈련 단계(에피소드 1–500)에서 DOB-CBF-RL의 안전 위반률은 15.8%였고, GP-CBF-RL은 91.4%였으며, 이는 조기 안전성 측면에서 뚜렷한 향상을 보였다.
• 사전 훈련을 통해 GP-CBF-RL은 첫 500 에피소드의 위반률을 30.8%로 낮췄지만, 여전히 DOB-CBF-RL의 15.8%에 못 미쳤다.
• DOB는 시작부터 5% 이내의 오차로 안정적인 간섭 추정을 제공했고, GP 모델은 600,000단계 이상이 경과한 후에야 오차를 5% 이내로 줄일 수 있었다.
• DOB-CBF-RL의 1,000단계당 평균 계산 시간은 GP-CBF-RL 대비 최소 3배 빠르며, 이는 뛰어난 계산 효율성을 시사한다.
• DOB-CBF-RL 에이전트는 6,000 에피소드 내에 고성능 정책을 학습했고, GP-CBF-RL 에이전트는 동일한 수의 에피소드 내에 유사한 정책에 수렴하지 못했다. 이는 더 뛰어난 샘플 효율성을 의미한다.