[논문 리뷰] Verification in the Loop: Correct-by-Construction Control Learning with Reach-avoid Guarantees

Yixuan Wang, Chao Huang외 3명|arXiv (Cornell University)|2021. 06. 06.

Machine Learning and Algorithms참고 문헌 32인용 수 5

한 줄 요약

이 논문은 안전 기반 시스템에서 도달-피하기 성질을 보장하기 위해 형식적 검증을 설계 과정에 통합한 클로즈드 루프 제어 학습 프레임워크를 제안한다. 도달 가능한 집합 계산을 활용해 피드백 메트릭(기하학적 거리 및 워샤프트 거리)을 구성함으로써, 이 방법은 미분 가능 최적화 문제를 정식화하고 근사된 기울기 하강법을 적용하여 형식적으로 검증된 안전성과 목표 도달 성능을 확보하는 제어기를 학습한다. 이는 수렴성과 안전성 비율 측면에서 기준 방법보다 뛰어나다.

ABSTRACT

In the current control design of safety-critical autonomous systems, formal verification techniques are typically applied after the controller is designed to evaluate whether the required properties (e.g., safety) are satisfied. However, due to the increasing system complexity and the fundamental hardness of designing a controller with formal guarantees, such an open-loop process of design-then-verify often results in many iterations and fails to provide the necessary guarantees. In this paper, we propose a correct-by-construction control learning framework that integrates the verification into the control design process in a closed-loop manner, i.e., design-while-verify. Specifically, we leverage the verification results (computed reachable set of the system state) to construct feedback metrics for control learning, which measure how likely the current design of control parameters can meet the required reach-avoid property for safety and goal-reaching. We formulate an optimization problem based on such metrics for tuning the controller parameters, and develop an approximated gradient descent algorithm with a difference method to solve the optimization problem and learn the controller. The learned controller is formally guaranteed to meet the required reach-avoid property. By treating verifiability as a first-class objective and effectively leveraging the verification results during the control learning process, our approach can significantly improve the chance of finding a control design with formal property guarantees. This is demonstrated via a set of experiments on both linear and non-linear systems that use model-based or neural network based controllers.

연구 동기 및 목표

• 안전 기반 제어 시스템에서 전통적인 오픈 루프 설계-검증 방식의 한계를 해결하기 위해.
• 형식적 검증을 제어 학습 과정에 직접 통합함으로써 반복적 설계 사이클을 줄이기 위해.
• 모델 기반 및 신경망 기반 제어기 모두에 대해 도달-피하기 성질(안전성 및 목표 도달)의 형식적 보장을 가능하게 하기 위해.
• 검증 결과(도달 가능한 집합)를 활용한 피드백 메커니즘을 개발하여 제어기 파라미터 튜닝을 이끌기 위해.
• 기본 강화 학습 및 모델 기반 제어 방법과 비교해 수렴성과 안전성 성능을 향상시키기 위해.

제안 방법

• 프레임워크는 검증기로 제어기 파라미터 하에서 시스템 상태의 초과 근사 도달 가능한 집합을 계산한다.
• 기하학적 거리와 불안정 영역, 목표 영역까지의 거리에 기반한 피드백 메트릭과, 상태 분포 간 워샤프트 거리에 기반한 다른 피드백 메트릭을 구성한다.
• 피드백 메트릭을 최소화하는 최적화 문제를 정의하여, 안전성 위반 또는 목표 도달 실패의 가능성을 나타낸다.
• 유한 차분 방법을 사용한 근사 기울기 하강 알고리즘을 활용해 제어기 파라미터를 반복적으로 튜닝한다.
• 이 과정은 선형 제어기(예: LQR)와 신경망 기반 제어기(예: DDPG) 모두에 적용되며, 각 단계에서 검증이 수행된다.
• 고리프시츠 수치가 높은 신경망 기반 제어기에서의 초과 근사 문제를 완화하기 위해 하이브리드 제어기 학습 전략을 도입한다.

실험 결과

연구 질문

• RQ1 형식적 검증 결과를 제어 학습 중 피드백 신호로 효과적으로 활용할 수 있는가, 이를 통해 안전성 보장을 향상시킬 수 있는가?
• RQ2 도달 가능한 집합 계산을 어떻게 활용해 제어기 파라미터 최적화를 위한 미분 가능 메트릭을 구성할 수 있는가?
• RQ3 설계-검증의 오픈 루프 방식에 비해 설계-검증의 클로즈드 루프 프레임워크가 더 신뢰성 있게 형식적 도달-피하기 보장을 달성할 수 있는가?
• RQ4 피드백 메트릭 선택(기하학적 vs. 워샤프트)이 수렴성과 안전성 성능에 어떤 영향을 미치는가?
• RQ5 학습 루프에서 검증의 엄밀함과 계산 비용 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 방법은 선형 ACC 및 비선형 반도파울러 진동자 시스템 모두에서 100%의 안전 제어 및 목표 도달 비율을 달성했으며, DDPG 및 LQR 기준 방법보다 뛰어났다.
• 진동자 시스템의 경우, 이 방법은 55–65회 반복(±13, ±4) 내에 수렴했고, 안전성과 목표 도달 모두를 확보했으며, DDPG는 13.7K회 반복을 필요로 하였고, 목표 도달 비율은 79.2%에 그쳤으며 형식적 검증이 이루어지지 않았다.
• 제안된 방법으로 학습된 제어기는 기하학적 및 워샤프트 메트릭 모두에 대해 형식적으로 도달-피하기 성질을 확보했으며, DDPG 제어기는 초과 근사 문제로 인해 검증이 불가능했다.
• 더 엄밀한 검증(예: 1단계당 40단계)은 계산 시간을 증가시켜(1단계당 115초) 정확도를 향상시켰지만, 더 느슨한 검증(55단계)은 시간을 줄였지만 정밀도가 떨어졌다(1단계당 86초).
• 하이브리드 제어기 학습 전략은 고리프시츠 수치가 높은 신경망 기반 제어기에서의 초과 근사 오류를 도달-피하기 작업을 피하기 및 목표 접근 단계로 분해함으로써 성공적으로 완화했다.
• 프레임워크는 선형 및 비선형 시스템 모두에서 뛰어난 강건성을 보였으며, 5회의 독립 실행에서 수렴 및 성능 메트릭의 표준편차가 낮아 일관된 성능을 보였다.