[논문 리뷰] Neural Lyapunov Control

Ya-Chien Chang, Nima Roohi외 1명|arXiv (Cornell University)|2020. 05. 01.

Advanced Control Systems Optimization인용 수 131

한 줄 요약

학습 프레임워크로, 위조기를 포함한 신경 제어기와 신경 Lyapunov 함수를 공동으로 조정하여 비선형 시스템의 전역 안정성을 인증하고 유도구역(ROA)을 확대합니다. 이는 증명 가능한 안정성 보장과 전통적 방법보다 더 큰 ROA를 제공합니다.

ABSTRACT

We propose new methods for learning control policies and neural network Lyapunov functions for nonlinear control problems, with provable guarantee of stability. The framework consists of a learner that attempts to find the control and Lyapunov functions, and a falsifier that finds counterexamples to quickly guide the learner towards solutions. The procedure terminates when no counterexample is found by the falsifier, in which case the controlled nonlinear system is provably stable. The approach significantly simplifies the process of Lyapunov control design, provides end-to-end correctness guarantee, and can obtain much larger regions of attraction than existing methods such as LQR and SOS/SDP. We show experiments on how the new methods obtain high-quality solutions for challenging control problems.

연구 동기 및 목표

• 증명 가능한 보장을 갖춘 비선형 동적 시스템의 안정화 문제를 해결한다.
• 로컬 선형화 없이 제어 정책과 신경 Lyapunov 함수를 공동으로 학습한다.
• 안정성의 엔드투엔드 인증과 확장 가능한 ROA 향상을 제공한다.
• 미세한(delta-완전성) 제약 해결을 이용한 학습-위조기 루프를 활용하여 엄격성을 확보한다.
• 다양한 로봇 공학 벤치마크에서 더 큰 ROA를 입증한다.

제안 방법

• 타원 활성화 함수 tanh를 가지는 다층 전방향 신경망으로 Lyapunov 함수를 표현하고 제어 정책과 함께 공동으로 학습한다.
• Lyapunov 조건 위반을 벌하는 Lyapunov 위험을 최적화한다: max(0,-V_theta(x)) + max(0, L_f_u V_theta(x)) + V_theta(0)^2.
• 컨트롤러를 LQR 해로 초기화하고 Lyapunov 위험을 최소화하기 위해 확률적 경사 하강법을 사용한다.
• delta-complete SMT 해석기(dReal)로 Phi_epsilon(x)를 풀어 Lyapunov 조건을 위반하는 상태 x를 탐색하는 위조기를 사용한다.
• 카운터예제를 통해 학습을 점진적으로 보강하여 지역적으로 유효한 Lyapunov 함수의 학습 방향을 안내한다.
• 학습 목표에 규제항을 추가하여 Lyapunov 함수의 반경에 따른 빠른 성장을 촉진하고 ROA를 확장할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 신경망이 로컬 선형화 밖의 비선형 역학에 대해 보장을 갖춘 Lyapunov 함수를 표현할 수 있는가?
• RQ2 공동으로 학습된 제어기와 신경 Lyapunov 함수가 넓은 유도구역에서 증명 가능한 안정성을 달성할 수 있는가?
• RQ3 위조기-주도 커리큘럼이 안정성 인증 개선을 위한 반례를 효과적으로 발견하는가?
• RQ4 학습된 ROA가 LQR 및 SOS/SDP 기반 기준선에 비해 다양한 비선형 로봇 시스템에서 어떤 차이를 보이는가?
• RQ5 목적 튜닝을 통해 안정성 보장과 영역 크기 사이의 균형을 유연하게 조정할 수 있는가?

주요 결과

• 제시된 프레임워크는 다수의 비선형 로봇 문제에서 LQR 및 SOS/SDP 기준선보다 더 큰 유도구역을 가진 증명 가능한 안정성을 가진 제어기를 산출한다.
• 제안된 위험도와 위조 루프를 통해 학습한 신경 Lyapunov 함수는 안정성이 인증될 때 제로에 수렴한다.
• Delta-complete SMT 해석(dReal)은 Lyapunov 조건에 대한 엄밀한 UNSAT 보장을 제공하여 원점 근처의 아주 작은 epsil론 볼 밖에서도 완전한 인증을 가능하게 한다.
• 학습 목표를 변경하여 반경과 함께 Lyapunov 함수의 빠른 성장을 촉진하면 ROA를 능동적으로 확장할 수 있으며 실험에서 더 큰 ROA로 확인된다.
• 역전 Pendulum, 경로 추적, Caltech 덕티드 팬, 2-링크 균형 잡기 문제에서 학습 및 위조 시간의 의미 있는 런타임 통계를 보여준다.
• 학습된 제어기들은 초기 LQR 초기화보다 흔들림을 줄이고 안정성을 개선하는 경향이 있다.