[논문 리뷰] Safety Guarantees for Planning Based on Iterative Gaussian Processes

Kyriakos Polymenakos, Luca Laurenti외 6명|arXiv (Cornell University)|2019. 11. 29.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 7

한 줄 요약

이 논문은 반복적이고 다단계 예측에서 가우시안 프로세스(GP) 궤적에 대한 공식적인 확률적 경계를 계산하는 방법을 제안한다. 이는 GP 궤적이 계산된 간격 내에 확률 최소 $1 - \epsilon$ 이상으로 포함되도록 보장한다. GP의 성질과 간격 전파를 활용함으로써, 개방 루프 및 피드백 루프 제어 시스템 모두에 대한 엄밀한 안전 보장을 제공하며, 불확실성 전파에서 히우리스틱 근사 방법보다 뛰어나고, 모델 기반 강화 학습에서 검증 가능한 안전성을 가능하게 한다.

ABSTRACT

Gaussian Processes (GPs) are widely employed in control and learning because of their principled treatment of uncertainty. However, tracking uncertainty for iterative, multi-step predictions in general leads to an analytically intractable problem. While approximation methods exist, they do not come with guarantees, making it difficult to estimate their reliability and to trust their predictions. In this work, we derive formal probability error bounds for iterative prediction and planning with GPs. Building on GP properties, we bound the probability that random trajectories lie in specific regions around the predicted values. Namely, given a tolerance $ε> 0 $, we compute regions around the predicted trajectory values, such that GP trajectories are guaranteed to lie inside them with probability at least $1-ε$. We verify experimentally that our method tracks the predictive uncertainty correctly, even when current approximation techniques fail. Furthermore, we show how the proposed bounds can be employed within a safe reinforcement learning framework to verify the safety of candidate control policies, guiding the synthesis of provably safe controllers.

연구 동기 및 목표

• 안전이 중요한 응용 분야인 제어 및 강화 학습과 같은 분야에서 필수적인 공식적인 불확실성 경계의 부재를 해결하기 위해.
• 비정규 및 비선형 입력 불확실성이 존재하는 상황에서도 다단계 시간 간격에서 GP 궤적에 대한 날카운 경계를 확률적으로 보장할 수 있는 방법을 개발하기 위해.
• 제어 법칙을 불확실성 전파 프레임워크에 통합하여, GP로 모델링된 피드백 루프 시스템의 안전성 인증을 가능하게 하기 위해.
• 특정 모델 형태를 가정하지 않고 GP 초모수로부터 직접 계산 가능한, 계산 효율성이 높은 데이터 기반 알고리즘을 제공하기 위해.
• 합성 및 실세계 시스템에서의 검증을 통해, 불확실성 추적 및 안전성 검증에서 기존 근사 기법보다 뛰어난 성능을 보여주기 위해.

제안 방법

• GP의 성질을 활용하여 공식적인 확률 경계를 유도함으로써, 궤적이 계산된 간격 내에 확률 최소 $1 - \epsilon$ 이상으로 포함되도록 보장한다.
• 각 시간 단계에서 입력 영역 위의 최대 확률을 사용하여, 반복적 예측을 통해 불확실성을 전파한다.
• 오차 전파의 확률을 제한하기 위해 레마 1을 사용하며, 점별 오차를 입력 간격 위의 최대값으로 대체하여 확률적 보장을 유지한다.
• 제어 입력을 입력 공간의 일부로 간주함으로써, 피드백 및 개방 루프 정책의 영향을 경계에 반영할 수 있도록 한다.
• 오차 경계 및 간격 최대값과 같은 모든 중간 값을 데이터와 GP 초모수에서 직접 계산함으로써, 모델에 종속되지 않은 효율적인 계산을 가능하게 한다.
• 선형 및 비선형 동역학 모두를 지원하며, 다양한 차원, 제어 입력, 동역학(선형, 이차, 비선형)을 가진 시스템에서 검증된다.

실험 결과

연구 질문

• RQ1 비선형 입력 불확실성이 존재하는 상황에서도 반복적 GP 예측에 대해 공식적인 확률적 경계를 도출할 수 있는가?
• RQ2 히우리스틱 근사에 의존하지 않고, 다단계 GP 예측에서의 불확실성 전파를 어떻게 보장할 수 있는가?
• RQ3 기존 방법이 실패하는 상황에서, 제안된 경계가 GP 궤적의 진짜 불확실성을 얼마나 잘 포괄할 수 있는가?
• RQ4 경계가 제어 정책 검증에 효과적으로 통합되어 피드백 루프 시스템의 안전성을 보장할 수 있는가?
• RQ5 선형, 비선형, 다차원 케이스를 포함한 다양한 시스템 동역학에서 경계의 행동은 어떻게 되는가?

주요 결과

• 제안된 방법은 비선형 입력 불확실성이 존재하는 상황에서도 GP 궤적이 지정된 간격 내에 확률 최소 $1 - \epsilon$ 이상으로 포함되도록 보장하는 확률적 경계를 성공적으로 계산한다.
• 모든 사례 연구에서 경계가 시간이 지남에 따라 수축함을 확인하였으며, 이는 상태가 상호의존적이지 않은 경우에도 시스템의 수축성 행동을 올바르게 반영한다.
• 최신 기술인 모멘트 매칭과 같은 근사 기법보다 성능이 뛰어나며, 이는 불확실성 전파를 잘못 전파하고 위험을 과소평가하기 때문이다.
• 두 제어 입력을 가진 2차원 시스템에서 경계가 시간이 지남에 따라 수축함을 확인하였으며, 이는 불확실성과 제어기 효과의 올바른 전파를 반영한다.
• 두 제어 입력을 가진 3차원 선형 시스템에서, 시스템이 안정함에도 불구하고 한 상태 변수의 경계 폭이 일정한 것으로 나타났지만, 경계는 올바르게 수축성 동역학을 식별하였다.
• 이 방법은 개방 루프 및 피드백 제어 정책의 공식적 인증을 가능하게 하여, 강화 학습에서 GP 기반 모델의 검증 가능한 안전 보장을 제공한다.