[논문 리뷰] Stability Analysis using Quadratic Constraints for Systems with Neural Network Controllers

He Yin, Peter Seiler외 1명|arXiv (Cornell University)|2020. 06. 13.

Fault Detection and Control Systems참고 문헌 27인용 수 14

한 줄 요약

이 논문은 신경망(NN) 컨트롤러를 갖는 피드백 시스템에 대한 안정성 분석 프레임워크를 제안한다. 이는 이차 제약(QC)을 사용하며, 리아푸노프 이론과 국소 섹터 및 오프-바이-원 적분 이차 제약(IQC)을 결합하여 점근적 안정성을 인증하고, 타원체 내근사(approximation)를 계산한다. 이는 반정적 프로그래밍(SDP)을 통해 확장 가능한 계산을 가능하게 한다. 주요 기여는 동적 IQC를 활용하여 신경망 활성화 함수의 경계를 강화함으로써, ROA 추정치를 향상시키고 액추에이터 포화 및 시간 지연과 같은 시스템 불확실성 하에서도 분석을 가능하게 하는 강건한 분석 방법이다.

ABSTRACT

A method is presented to analyze the stability of feedback systems with neural network controllers. Two stability theorems are given to prove asymptotic stability and to compute an ellipsoidal inner-approximation to the region of attraction (ROA). The first theorem addresses linear time-invariant systems, and merges Lyapunov theory with local (sector) quadratic constraints to bound the nonlinear activation functions in the neural network. The second theorem allows the system to include perturbations such as unmodeled dynamics, slope-restricted nonlinearities, and time delay, using integral quadratic constraint (IQCs) to capture their input/output behavior. This in turn allows for off-by-one IQCs to refine the description of activation functions by capturing their slope restrictions. Both results rely on semidefinite programming to approximate the ROA. The method is illustrated on systems with neural networks trained to stabilize a nonlinear inverted pendulum as well as vehicle lateral dynamics with actuator uncertainty.

연구 동기 및 목표

• 신경망 컨트롤러의 복잡하고 비선형적인 구조로 인해 발생하는 공식적 안정성 및 안전성 증명의 부족을 해결하기 위해.
• 신경망 컨트롤러를 갖는 시스템에 대해 점근적 안정성을 증명하고 영역의 영향력(ROA)의 내근사(inner-approximation)을 계산하는 체계적인 방법을 개발하기 위해.
• 적분 이차 제약(IQC)을 사용하여 모델링되지 않은 동역학, 시간 지연, 기울기 제한 비선형성을 포함한 불확실한 시스템으로의 안정성 분석을 확장하기 위해.
• 정적 섹터 제약보다 동적 오프-바이-원 IQC를 도입하여 활성화 함수 경계의 날카움을 향상시켜 보수성(conservatism)을 감소시키기 위해.
• IQC를 통한 편차 모델링과 함께 SDP를 풀어 액추에이터 불확실성과 포화 하에서의 강건성 분석을 가능하게 하기 위해.

제안 방법

• 균형점 입력을 중심으로 하는 국소(섹터) 이차 제약를 사용하여 신경망 컨트롤러 내 비선형 활성화 함수를 제약함으로써 리아푸노프 기반 안정성 분석을 가능하게 한다.
• 안정성 조건을 반정적 프로그래밍(SDP)으로 공식화하여 영역의 영향력(ROA)의 타원체 내근사(inner-approximation)를 계산한다.
• 모델링되지 않은 동역학, 시간 지연, 기울기 제한 비선형성 등의 식물 편차를 적분 이차 제약(IQC)을 사용하여 입력/출력 행동을 기술한다.
• 오프-바이-원 IQC를 도입하여 활성화 함수의 기울기 제약을 보다 정밀하게 기술함으로써 정적 섹터 QC보다 더 보수적이지 않은 경계를 도출한다.
• IQC 기반 분석을 SDP 프레임워크에 통합하여 불확실한 시스템(예: LTI 편차 및 액추에이터 포화 포함)에 대한 강건성 인증을 가능하게 한다.
• 구조적 특성을 활용하여 구간 경계 전파(IBP)를 적용하여 신경망 컨트롤러에 대한 비보수적이고 국소적인 정적 및 동적 IQC를 유도한다.

실험 결과

연구 질문

• RQ1 리아푸노프 이론과 이차 제약를 사용하여 신경망 컨트롤러를 갖는 피드백 시스템의 점근적 안정성을 공식적으로 증명할 수 있는가?
• RQ2 신경망 제어 시스템의 ROA에 대해 보수적이지만 계산 가능한 내근사(inner-approximation)를 어떻게 계산할 수 있는가?
• RQ3 오프-바이-원 IQC는 정적 섹터 QC에 비해 활성화 함수 경계의 날카움을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 프레임워크는 시간 지연, 액추에이터 포화, 모델링되지 않은 동역학과 같은 식물 불확실성을 처리하면서도 안정성 보장을 유지할 수 있는가?
• RQ5 실제로 동적 IQC의 통합은 계산된 ROA 내근사의 크기와 보수성에 어떤 영향을 미치는가?

주요 결과

• 차량 횡방향 제어 사례에서 오프-바이-원 IQC를 사용함으로써 ROA 타원체의 트레이스(trace)가 4.4에서 2.9로 감소하여 더 날카운 ROA 근사가 가능함을 나타낸다.
• ROA 행렬의 역행렬 행렬식(determinant)이 3.2×10⁵에서 1.1×10⁶으로 증가하여, 오프-바이-원 IQC 사용 시 ROA 내근사의 부피가 3.4배 증가함을 보여준다.
• 입력 한계 δv에 대한 SDP 타당성 임계값이 정적 섹터 IQC만 사용할 경우 0.67에서 오프-바이-원 IQC 사용 시 1.4로 상승하여 더 큰 입력 불확실성에 대한 내성과 강건성이 향상됨을 입증한다.
• 이 방법은 액추에이터 불확실성이 있는 비선형 역자이드 펜듈럼과 차량 횡방향 동역학 시스템에 대해 안정성 인증 및 ROA 내근사 계산에 성공적으로 적용되었다.
• IQC를 통한 편차 모델링을 통해 고전적인 LTI 가정을 초월하여 비LTI 식물의 분석이 가능해졌으며, 이는 프레임워크의 확장성을 보여준다.
• 결과적으로 동적 IQC가 안정성 분석의 보수성을 크게 감소시키며, 특히 IBP를 통한 국소 제약 유도와 결합할 경우 신경망 활성화에 대한 날카운 제약을 얻을 수 있음을 보여준다.