[논문 리뷰] Learning Lyapunov Functions for Piecewise Affine Systems with Neural Network Controllers

Shaoru Chen, Mahyar Fazlyab외 3명|arXiv (Cornell University)|2020. 08. 14.

Fault Detection and Control Systems참고 문헌 73인용 수 14

한 줄 요약

이 논문은 ReLU 신경망으로 제어되는 이산시간 조각별 아핀(PWA) 시스템을 위한 이차 및 조각별 이차 라플라스 함수를 학습 기반 반복 방법으로 합성하는 방법을 제안한다. 이 방법은 분석 중심 절단 평면 방법(ACCPM)에 기반한 학습자-검증자 프레임워크를 사용하며, 학습자는 샘플링된 궤적에서 라플라스 후보를 제안하고, 검증자는 혼합정수계획법(MIP)을 사용하여 후보의 타당성을 반증 또는 수용한다. 이 과정을 통해 매개변수 공간에서 라플라스 집합이 전체 차원일 경우 유한 수렴을 보장한다.

ABSTRACT

We propose a learning-based method for Lyapunov stability analysis of piecewise affine dynamical systems in feedback with piecewise affine neural network controllers. The proposed method consists of an iterative interaction between a learner and a verifier, where in each iteration, the learner uses a collection of samples of the closed-loop system to propose a Lyapunov function candidate as the solution to a convex program. The learner then queries the verifier, which solves a mixed-integer program to either validate the proposed Lyapunov function candidate or reject it with a counterexample, i.e., a state where the stability condition fails. This counterexample is then added to the sample set of the learner to refine the set of Lyapunov function candidates. We design the learner and the verifier based on the analytic center cutting-plane method, in which the verifier acts as the cutting-plane oracle to refine the set of Lyapunov function candidates. We show that when the set of Lyapunov functions is full-dimensional in the parameter space, the overall procedure finds a Lyapunov function in a finite number of iterations. We demonstrate the utility of the proposed method in searching for quadratic and piecewise quadratic Lyapunov functions.

연구 동기 및 목표

• 신경망 제어 시스템의 안정성 및 안전성 보장이 부족한 문제를 해결하기 위해, 특히 안전이 중요한 응용 분야에서.
• ReLU 신경망 제어기를 갖는 PWA 시스템을 위한 비보수적인 라플라스 함수의 자동 구축을 위해.
• 표본 효율적이고 최적화 기반의 방법을 개발하여 형식적 안정성 증명과 유한 수렴 보장을 제공하기 위해.
• 이중 및 조각별 이차 라플라스 함수를 사용하여 큰 영역의 안정성(ROA) 추정의 효과성을 입증하기 위해.

제안 방법

• 이 방법은 학습자-검증자 루프를 활용한다: 학습자는 유한한 수의 샘플링된 폐쇄 루프 궤적을 사용하여 볼록 최적화를 통해 라플라스 함수 후보를 제안한다.
• 검증자는 혼합정수계획법(MIP)을 사용하여 후보 라플라스 함수가 상태 공간 전역에서 안정성 조건을 만족하는지 확인한다.
• 검증자가 안정성 조건을 위반하는 반례(상태)를 발견하면, 그 상태를 학습자에게 반환하여 후보 집합을 개선한다.
• 학습자는 검증자를 절단 평면 오рак루로 간주하고 분석 중심 절단 평면 방법(ACCPM)을 사용하여 라플라스 후보 집합을 갱신한다.
• 알고리즘은 매개변수 공간에서 유효한 라플라스 함수 집합이 전체 차원일 경우 유한 단계 내에 수렴하도록 설계되어 있다.
• 이 방법은 이차 및 조각별 이차 라플라스 함수를 검색하기 위해 적용되었으며, 탄성 벽이 있는 역퍼레드럼 시스템에서 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 ReLU 신경망 제어기를 갖는 PWA 시스템을 위한 학습 기반 방법이 형식적 안정성 보장을 확보하면서도 효율적으로 라플라스 함수를 합성할 수 있는가?
• RQ2 학습자와 검증자 간의 상호작용은 어떻게 구성되어야 하며, 라플라스 함수 합성에서 유한 수렴을 달성할 수 있는가?
• RQ3 조각별 이차 라플라스 함수는 이차 함수에 비해 영역의 안정성(ROA) 추정에서 얼마나 더 보수적인가?
• RQ4 제안된 방법은 기계 시스템의 접촉 사건에서 발생하는 복잡한 하이브리드 동역학을 다룰 수 있는가?

주요 결과

• ACCPM 기반 알고리즘은 이차 라플라스 함수를 사용해 10회 반복 내에 유한 수렴을 달성하였으며, 기준 집합의 0.81× 크기의 안정성 영역 추정을 얻었고, 총 솔버 시간은 9.928초였다.
• 조각별 이차(PWQ) 라플라스 함수를 사용할 경우, 알고리즘은 9회 반복 내에 종료되었고, 기준 집합의 1.0× 크기의 더 큰 ROA 추정을 달성하여 보수성 감소를 확인했다.
• PWQ 합성에 대한 총 솔버 시간은 124.210초였으며, 이는 고차수 함수 클래스의 계산 비용 증가를 반영한다.
• 모의 폐쇄 루프 궤적을 통해 추정된 ROA의 정확성과 보수성의 타당성이 검증되었으며, 안정성 증명서가 확인되었다.
• 이 방법은 원점 주변 반지름 ε=0.0158의 구 내에서 폐쇄 루프 시스템의 점근적 안정성을 성공적으로 인증하였다.
• 결과는 조각별 이차 라플라스 함수가 이차 함수에 비해 더 보수적인 ROA 추정을 제공함을 보여주며, 라플라스 분석에서 조각별 구조의 유용성을 입증한다.