[논문 리뷰] Deep Lyapunov Function: Automatic Stability Analysis for Dynamical Systems

Arash Mehrjou, Bernhard Schölkopf|arXiv (Cornell University)|2019. 01. 24.

Model Reduction and Neural Networks참고 문헌 6인용 수 7

한 줄 요약

이 논문은 동적 시스템의 리아푸노프 함수를 자동으로 발견하기 위해 딥 뉴럴 네트워크를 훈련시켜 리아푸노프의 안정성 조건을 만족시키는 딥 린어포텐셜 함수(DELF)라는 딥 러닝 기반 방법을 제안한다. 이 방법은 확률적 경사 하강법을 사용하여, 함수의 정부정성과 시스템 궤적을 따라 시간 도함수의 음부정성을 강제하는 손실 함수를 최소화한다. 이로 인해 분석적으로 리아푸노프 함수를 구성하기 어려운 비선형 시스템에 대해서도 자동 안정성 분석이 가능해진다.

ABSTRACT

Stability analysis plays a crucial role in studying the behavior of dynamical systems with theoretical and engineering applications. Among various kinds of stability, the stability of equilibrium points is of the greatest importance which is mainly studied by Lyapunov's stability theory. This theory requires finding a function with specified properties. Except for a few simple examples, there is no straightforward constructive algorithm to find a Lyapunov function for an arbitrary dynamical system. The goal of this work is proposing a simple yet effective way to approximate this function using deep learning tools.

연구 동기 및 목표

• 비선형 동적 시스템에 대한 리아푸노프 함수를 구성하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 수작업으로 리아푸노프 함수를 설계할 필요 없이 스케일러블하고 데이터 기반의 안정성 분석 방법을 개발하기 위해.
• 심층 신경망을 보편 함수 근사기로 활용하여 고차원 상태 공간에서 유효한 리아푸노프 함수를 탐색하기 위해.
• 확률적 최적화를 이용해 자율 동적 시스템의 국소 점근적 안정성을 실증적으로 평가할 수 있는 실용적인 방법을 제공하기 위해.

제안 방법

• 파arameterize a candidate Lyapunov function $ \hat{V}(x;\theta) $ using a deep neural network with parameters $ \theta $.
• Define a loss function $ \mathcal{L}(x;\theta) = h_1(\hat{V}) + h_2(\nabla_x \hat{V}^T f(x)) $, where $ h_1 $ enforces positive definiteness and $ h_2 $ enforces negative definiteness of the derivative.
• Minimize the expected loss over randomly sampled points from a bounded domain $ D_r $, using stochastic gradient descent.
• Use uniform sampling with resolution $ \delta $ to generate training data, with the number of samples scaling as $ N \sim (2r/\delta)^d $.
• Treat the optimization process as a search over the space of all possible functions, assuming sufficient network capacity.
• Interpret failure to converge to zero loss as evidence of system instability under the universal approximator assumption.

실험 결과

연구 질문

• RQ1 비선형 동적 시스템에서 분석적으로 구성하기 어려운 리아푸노프 함수를 딥 러닝으로 효과적으로 발견할 수 있는가?
• RQ2 심층 신경망이 필요한 양성 및 음성 도함수 조건을 만족하는 리아푸노프 함수를 얼마나 잘 근사할 수 있는가?
• RQ3 다양한 차원에서 시스템의 안정성과 불안정성을 식별하는 데 있어 제안된 방법의 실증 성능은 어떠한가?
• RQ4 최적화 과정이 0에 수렴하지 못하는 것은 기저의 동적 시스템이 불안정함을 신뢰성 있게 나타내는가?
• RQ5 이론적 보장이 제한적인 상황에서 이 방법이 얼마나 신뢰할 수 있는 안정성 통찰을 제공하는가?

주요 결과

• 이 방법은 다수의 2차원 및 3차원 안정된 동적 시스템에 대해 유효한 리아푸노프 함수를 성공적으로 식별하였으며, 샘플링된 궤적 전반에서 $ \bar{V} $ 는 지속적으로 양수이고 $ \bar{\dot{V}} $ 는 지속적으로 음수로 유지되었다.
• 불안정한 시스템의 경우 최적화 과정이 손실을 0으로 낮추지 못했으며, $ \bar{V} $ 와 $ \bar{\dot{V}} $ 의 궤적은 일관된 부호 패턴을 보이지 않아 유효한 리아푸노프 함수가 존재하지 않음을 시사했다.
• 이 방법은 비선형성, 결합성, 비물리적 시스템을 포함한 다양한 시스템 타입에 대해 강건성을 보였으며, 광범위한 적용 가능성을 시사했다.
• 이 방법의 실증적 성공은 심층 네트워크가 고차원 공간에서 리아푸노프 함수를 효과적으로 탐색할 수 있다는 가설을 뒷받침한다.
• 불안정한 경우에 최적화가 0에 수렴하지 못하는 것은 이론적 기대와 일치하며, 이는 그러한 함수가 존재하지 않을 경우 시스템의 불안정성을 탐지할 수 있음을 시사한다.
• 이 접근법은 복잡한 시스템에 대해 수작업 리아푸노프 함수 구성에 비해 실용적이고 스케일러블한 대안을 제공한다.