[논문 리뷰] Safe Interactive Model-Based Learning

Marco Gallieri, Seyed Sina Mirrazavi Salehian외 5명|arXiv (Cornell University)|2019. 11. 15.

Advanced Control Systems Optimization참고 문헌 57인용 수 10

한 줄 요약

이 논문은 모형 예측 제어(MPC)를 통한 안전 탐색을 통해 안전한 컨트롤러와 베이지안 RNN 전방 모델을 반복적으로 개선하는 안전한 인터랙티브 모형 기반 학습(SiMBL) 프레임워크를 제안한다. 리아푸노프 함수, 불확실성 인식 모델, 일致성 사전 조건을 통합함으로써 SiMBL은 공식적인 안전성 검증을 보장하고 안전 영역을 점차 확대한다. 이는 제한된 토크와 비볼록 제약 조건이 존재하는 역퍼운드 펜듈럼에서 검증되었다.

ABSTRACT

Control applications present hard operational constraints. A violation of these can result in unsafe behavior. This paper introduces Safe Interactive Model Based Learning (SiMBL), a framework to refine an existing controller and a system model while operating on the real environment. SiMBL is composed of the following trainable components: a Lyapunov function, which determines a safe set; a safe control policy; and a Bayesian RNN forward model. A min-max control framework, based on alternate minimisation and backpropagation through the forward model, is used for the offline computation of the controller and the safe set. Safety is formally verified a-posteriori with a probabilistic method that utilizes the Noise Contrastive Priors (NPC) idea to build a Bayesian RNN forward model with an additive state uncertainty estimate which is large outside the training data distribution. Iterative refinement of the model and the safe set is achieved thanks to a novel loss that conditions the uncertainty estimates of the new model to be close to the current one. The learned safe set and model can also be used for safe exploration, i.e., to collect data within the safe invariant set, for which a simple one-step MPC is proposed. The single components are tested on the simulation of an inverted pendulum with limited torque and stability region, showing that iteratively adding more data can improve the model, the controller and the size of the safe region.

연구 동기 및 목표

• 엄격한 운영 제약 조건이 존재하는 실제 환경에서 시스템 모델과 제어기를 안전하게 상호작용적으로 학습할 수 있는 프레임워크를 개발하는 것.
• 학습 데이터 외부의 불확실성을 추정하기 위해 노이즈 대비 사전(NCP) 기반의 확률적 방법을 사용하여 안전성을 공식적으로 검증하는 것.
• 이전의 불확실성 추정치를 기반으로 새로운 불확실성 추정치를 조건화하여 안전 영역과 모델을 반복적으로 개선함으로써 안정성과 커버리지 향상을 도모하는 것.
• 학습된 불변 안전 영역 내에서 작동하는 1단계 MPC 전략을 통해 안전한 탐색을 가능하게 하는 것.
• 모델, 정책, 안전성 인증을 통합된 훈련 가능한 파ip라인으로 통합하여 실세계 데이터를 활용한 연속적인 개선을 가능하게 하는 것.

제안 방법

• 학습 분포 외부의 상태 전이 불확실성을 추정하기 위해 노이즈 대비 사전을 통합한 베이지안 RNN 전방 모델(NCP-BRNN)을 제안한다.
• 전방 모델을 통해 역전파를 수행하고 교대 최소화를 기반으로 한 최소-최대 제어 프레임워크를 사용하여 안전한 제어 정책과 리아푸노프 함수를 동시에 학습한다.
• 기존 모델의 불확실성에 기반하여 새로운 모델의 불확실성을 조건화하는 새로운 일치 손실을 도입하여 안정적인 반복적 개선을 가능하게 한다.
• 추가 상태 불확실성 추정치를 사용하여 안전성을 고확률로 인증하는 새로운 확률적 안전성 검증 방법을 제안한다.
• 학습된 리아푸노프 함수와 안전 영역을 활용하여 불변 안전 영역 내에서 탐색을 이끌어내는 1단계 MPC 전략을 적용한다.
• 물리적 사전 지식을 그레이박스 아키텍처를 통해 RNN에 통합하여 알려진 시스템 동역학을 미분 가능하게 통합한다.

실험 결과

연구 질문

• RQ1 운영 제약 조건이 존재하는 상황에서 모형 기반 강화 학습 프레임워크는 반복적 학습 과정에서 어떻게 안전성을 확보할 수 있는가?
• RQ2 노이즈 대비 사전을 갖춘 베이지안 RNN은 학습 데이터 외부 상태에서 불확실성을 신뢰성 있게 추정할 수 있는가? 이를 통해 공식적인 안전성 검증이 가능할까?
• RQ3 데이터 수집 과정 중에도 안전성을 유지하면서 안전 영역과 제어기를 어떻게 반복적으로 개선할 수 있는가?
• RQ4 MPC를 통한 안전한 탐색은 안전 영역을 어느 정도 확장하고 시간이 지남에 따라 모델 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 불확실성 추정치에 대한 일치 사전 조건은 모델과 안전 영역의 안정적이고 점진적인 향상에 기여할 수 있는가?

주요 결과

• 프레임워크는 시뮬레이션에서 비볼록 안전 영역 내에서 점근적 안정성을 보장하는 리아푸노프 함수와 안전한 제어 정책을 성공적으로 학습하였다.
• 안전한 MPC를 통한 반복적 데이터 수집은 학습된 안전 영역의 크기를 증가시켜 안전성 커버리지의 점진적 향상을 입증하였다.
• 노이즈 대비 사전을 갖춘 베이지안 RNN은 학습 분포 외부에서 큰 불확실성 추정치를 생성하여 효과적인 안전성 검증을 가능하게 하였다.
• 일치 손실은 새로운 모델의 불확실성 추정치가 이전 추정치와 일치하도록 보장하여 개선 과정의 안정성을 확보하였다.
• 1단계 MPC 기반의 안전 탐색 전략은 불변 안전 영역 내에서 데이터를 성공적으로 수집하여 지속적인 모델 및 정책 개선을 가능하게 하였다.
• 모델 불확실성과 비볼록 제약 조건 하에서도 높은 확률로 공식적인 안전성 인증을 달성하였다.