[논문 리뷰] Data-Driven Abstraction-Based Control Synthesis

Milad Kazemi, Rupak Majumdar외 3명|arXiv (Cornell University)|2022. 06. 16.

Formal Methods in Verification인용 수 5

한 줄 요약

이 논문은 미지의 동역학을 가진 연속 공간 시스템에서 샘플링된 궤적을 사용하여 강건한 볼록 최적화를 통해 성장 한계를 계산함으로써, 형식적 제어기 합성에 대한 데이터 기반 방법을 제안한다. 이 방법은 선형 시간 논리 사양에 대해 추상화와 제어기 합성의 확률적 정확성을 보장하며, 리프시츠 상수 추정을 위한 극값 이론을 활용하여 표본 복잡도 한계를 도출한다.

ABSTRACT

This paper studies formal synthesis of controllers for continuous-space systems with unknown dynamics to satisfy requirements expressed as linear temporal logic formulas. Formal abstraction-based synthesis schemes rely on a precise mathematical model of the system to build a finite abstract model, which is then used to design a controller. The abstraction-based schemes are not applicable when the dynamics of the system are unknown. We propose a data-driven approach that computes the growth bound of the system using a finite number of trajectories. The growth bound together with the sampled trajectories are then used to construct the abstraction and synthesise a controller. Our approach casts the computation of the growth bound as a robust convex optimisation program (RCP). Since the unknown dynamics appear in the optimisation, we formulate a scenario convex program (SCP) corresponding to the RCP using a finite number of sampled trajectories. We establish a sample complexity result that gives a lower bound for the number of sampled trajectories to guarantee the correctness of the growth bound computed from the SCP with a given confidence. We also provide a sample complexity result for the satisfaction of the specification on the system in closed loop with the designed controller for a given confidence. Our results are founded on estimating a bound on the Lipschitz constant of the system and provide guarantees on satisfaction of both finite and infinite-horizon specifications. We show that our data-driven approach can be readily used as a model-free abstraction refinement scheme by modifying the formulation of the growth bound and providing similar sample complexity results. The performance of our approach is shown on three case studies.

연구 동기 및 목표

• 미지의 동역학을 가진 연속 비선형 시스템에 대한 형식적 제어기 합성을 가능하게 한다.
• 단지 샘플링된 궤적과 계산된 성장 한계를 사용하여 유한한 추상화를 구성한다.
• 추상화의 정확성과 시간 논리 사양의 제어기 만족도에 대한 확률적 보장을 제공한다.
• 유사한 이론적 보장을 갖는 모델 프리 추상화 정밀화 기법으로 이 방법을 확장한다.
• 성장 한계 정확도와 사양 만족도에 대한 표본 복잡도 한계를 수립한다.

제안 방법

• 미지의 동역학으로 인해 무한한 제약 조건을 가진 강건한 볼록 프로그램(RCP)으로 성장 한계 계산을 공식화한다.
• 유한한 수의 샘플링된 궤적을 사용하여 RCP를 시나리오 볼록 프로그램(SCP)으로 근사한다.
• 극값 이론을 사용하여 초기 상태에 대한 시스템의 리프시츠 상수에 대한 상한을 추정한다.
• SCP 해가 성장 한계와 사양 만족도에 대해 원하는 신뢰도를 확보하기 위해 표본 복잡도 한계를 도출한다.
• 계산된 성장 한계와 샘플링된 궤적을 기반으로 유한한 추상화를 구성한다.
• 성장 한계 공식을 수정하여 반복적으로 제어기 승리 영역를 향상시키는 추상화 정밀화 루프에 방법을 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 샘플링된 궤적만을 사용하여 동역학이 알려지지 않은 연속 시스템에 대해 유한한 추상화를 구성할 수 있는가?
• RQ2 높은 신뢰도로 성장 한계의 정확성을 보장하기 위해 필요한 표본 복잡도는 얼마인가?
• RQ3 데이터로부터 시스템의 리프시츠 상수를 어떻게 추정하여 형식적 추상화를 가능하게 할 수 있는가?
• RQ4 제안된 데이터 기반 추상화는 유사한 이론적 보장을 갖는 모델 프리 추상화 정밀화 루프에 사용될 수 있는가?
• RQ5 주어진 신뢰도로 닫힌 루프 시스템이 사양을 만족하도록 보장하기 위해 필요한 표본 수는 얼마인가?

주요 결과

• 제안된 데이터 기반 접근법은 높은 확률로 전체 상태 공간에서 시스템의 도달 가능한 행동을 과대추정하는 추상화를 계산함으로써 보장한다.
• 성장 한계 계산과 LTL 사양 만족도에 대한 표본 복잡도 한계가 도출되어 주어진 신뢰 수준에서 정확성을 보장한다.
• 이전의 PAC 기반 접근법이 중요한 전이를 포착하지 못할 수 있는 것과 달리, 이 방법은 제어기 정확성에 대해 완전한 형식적 보장을 달성한다.
• 제안된 RSA 방법을 통해 합성된 제어기의 승리 영역는 모델 기반 방법의 영역의 부분집합이며, 더 높은 보수성의 대가로 안전성과 정확성을 보장한다.
• 편향을 고려하지 않은 추정 리프시츠 상수를 직접 사용할 경우, 모델 기반 방법의 승리 영역의 78.8%만을 커버하게 되며, 이는 SCP 공식화에서 편향 항이 반드시 필요함을 시사한다.
• 신뢰도 파rameter β를 증가시키면 표본 복잡도가 감소하지만, 오차 허용 한계 ε를 증가시키면 필요한 표본 수가 급격히 감소하지만, 성장 한계의 편향이 증가하는 대가를 치르게 된다.