[논문 리뷰] Safe Model-based Reinforcement Learning with Stability Guarantees

Felix Berkenkamp, Matteo Turchetta외 2명|arXiv (Cornell University)|2017. 05. 23.

Adversarial Robustness in Machine Learning인용 수 336

한 줄 요약

본 논문은 Lyapunov 안정성, 가우시안 프로세스 역학, 그리고 Lipschitz 가정을 활용하여 높은 확률의 안전 보장을 제공하면서 안전하게 attraction 영역을 확장하고 정책 성능을 향상시키는 모델 기반 강화학습 방법인 SafeLyapunovLearning을 제안한다; 시뮬레이션된 역진자에서 시연된다.

ABSTRACT

Reinforcement learning is a powerful paradigm for learning optimal policies from experimental data. However, to find optimal policies, most reinforcement learning algorithms explore all possible actions, which may be harmful for real-world systems. As a consequence, learning algorithms are rarely applied on safety-critical systems in the real world. In this paper, we present a learning algorithm that explicitly considers safety, defined in terms of stability guarantees. Specifically, we extend control-theoretic results on Lyapunov stability verification and show how to use statistical models of the dynamics to obtain high-performance control policies with provable stability certificates. Moreover, under additional regularity assumptions in terms of a Gaussian process prior, we prove that one can effectively and safely collect data in order to learn about the dynamics and thus both improve control performance and expand the safe region of the state space. In our experiments, we show how the resulting algorithm can safely optimize a neural network policy on a simulated inverted pendulum, without the pendulum ever falling down.

연구 동기 및 목표

• Lyapunov 이론으로 안정성을 보장함으로써 안전 중요 시스템에 대한 안전한 강화학습의 필요성을 제시한다.
• 확률적 역학을 활용하여 높은 확률의 안전 인증을 제공하는 모델 기반 RL 프레임워크를 개발한다.
• 안전한 영역 확장을 위한 데이터 수집을 통해 제어 성능을 향상시키는 방법을 보여준다.
• 시뮬레이션된 역진자에서 실용적 알고리즘과 실험적 검증을 제공한다.
• attraction 영역 내의 안전한 탐색을 위한 이론적 보장을 확립한다

제안 방법

• 알 수 없는 역학을 알려진 사전 모델에 Lipschitz 연속 오차 항으로 표현한다.
• 가우시안 프로세스 모델을 사용하여 f(x,u)에 대한 사후 평균과 신뢰 구간을 얻는다.
• Lyapunov 함수를 이용해 attraction 영역을 정의하고 높은 확률로 1단계 감소 조건을 강제한다.
• 상태 공간을 이산화하여 그리드에서 Lyapunov 감소를 검증하고 Lipschitz 연속성으로 연속 공간으로 결과를 확장한다.
• 정책을 안전 제약(정리 2에서 도출된 안전 제약)을 만족하도록 추정된 attraction 영역을 최대화하도록 최적화한다.
• 현재 안전 집합 내에서 정보량이 많고 안전한 상태-작용 쌍을 우선시하는 데이터 수집 전략을 제안한다(식 6).
• 안전한 측정값으로 정책과 GP를 업데이트하면서 attraction 영역 내에서 안전을 보장하는 실용 알고리즘(알고리즘 1 SafeLyapunovLearning)을 제공한다.

실험 결과

연구 질문

• RQ1 모델 기반 RL 방법이 Lyapunov 기반 안정성 인증으로 표현되는 고확률 안전 보장을 제공할 수 있는가?
• RQ2 Gaussian 프로세스로 모델링된 미지의 역학을 배우면서 attraction 영역을 어떻게 안전하게 확장할 수 있는가?
• RQ3 안전한 탐색과 데이터 수집이 안전한 집합을 벗어나지 않으면서 안전 영역을 확장하는 이론적 조건은 무엇인가?
• RQ4 연속적 상태-작용 공간에서 Lyapunov 기반 안전성을 실제 정책 최적화에 어떻게 통합할 수 있는가?
• RQ5 신경망과 같은 비선형 정책으로도 이 방법이 확장 가능하며 inverted pendulum 같은 벤치마크에서 안전하게 작동하는가?

주요 결과

• 이 알고리즘은 GP 기반 역학으로의 Lyapunov 감소 조건을 사용하여 안정성에 대한 고확률 안전 보장을 제공합니다.
• RKHS 경계 모델 오류와 Lipschitz 가정 하에서 현재 영역 내의 안전한 데이터 수집이 가능하고 안전한 탐색이 안전 영역을 확장합니다.
• 이산화된 검증이 증가하는 데이터와 함께 연속 공간의 Lyapunov 감소를 보장하는 이론적 결과를 보여주며 이산화와 정확도 간의 연계를 제시합니다.
• 메서드는 역진자 시뮬레이션에서 펜듈럼이 넘어지지 않고도 신경망 정책을 안전하게 최적화할 수 있습니다.
• 명시적 탐색 전략은 가장 불확실한 안전한 상태-작용 쌍을 우선시하여 attraction 영역을 효율적으로 확장합니다.