[논문 리뷰] Almost Surely Stable Deep Dynamics

Nathan P. Lawrence, Philip D. Loewen외 3명|arXiv (Cornell University)|2021. 03. 26.

Computer Graphics and Visualization Techniques참고 문헌 39인용 수 8

한 줄 요약

이 논문은 립누노프 신경망(LNN)을 모델 아키텍처에 통합하여 증명 가능하고 거의 확실히 안정적인 행동을 보이는 딥 네ural 네트워크 기반 동적 모델을 훈련하는 방법을 제안한다. 이는 립누노프 함수의 볼록성과 은닉 출력층을 활용하여 결정론적 및 확률적 이산시간 시스템에서 안정성을 강제하는 두 가지 접근법을 도입하며, 이론적 보장 하에 거의 확실히 전역 점근적 안정성을 보장한다.

ABSTRACT

We introduce a method for learning provably stable deep neural network based dynamic models from observed data. Specifically, we consider discrete-time stochastic dynamic models, as they are of particular interest in practical applications such as estimation and control. However, these aspects exacerbate the challenge of guaranteeing stability. Our method works by embedding a Lyapunov neural network into the dynamic model, thereby inherently satisfying the stability criterion. To this end, we propose two approaches and apply them in both the deterministic and stochastic settings: one exploits convexity of the Lyapunov function, while the other enforces stability through an implicit output layer. We demonstrate the utility of each approach through numerical examples.

연구 동기 및 목표

• 데이터 기반 딥 네ural 네트워크(DNN) 기반 동적 모델에서 안정성을 보장하는 데 도전하는 것, 특히 확률적 및 이산시간 설정에서의 안정성.
• 안정성이 필수적이지만 훈련 후 검증이 어려운 안전이 중요한 응용 분야에서 블랙박스 DNN의 한계를 극복하는 것.
• 후행 검증이 아닌 모델 아키텍처에 안정성을 내재적으로 통합하는 프레임워크를 개발하는 것.
• 마르코프 과정과 순간 조건을 활용하여 결정론적 시스템에서의 증명 가능 안정성 보장을 확률적 동적 시스템으로 확장하는 것.
• 제어 및 추정에 적합한 실용적이고 훈련 가능하며 해석 가능한 안정된 DNN 기반 동적 모델을 구성하는 방법을 제공하는 것.

제안 방법

• 안정성 조건을 충족시키기 위해 립누노프 함수 $ V $를 신경망 기반으로 모델에 통합하여, 거의 확실히 $ \mathbb{E}[V(\bm{x}_{t+1}) \mid \bm{x}_t] - V(\bm{x}_t) \leq -\alpha V(\bm{x}_t) $ 를 만족시키도록 한다. 여기서 $ \alpha > 0 $.
• 볼록성 기반 방법에서는 립누노프 함수의 볼록성을 강제하여 폐쇄형 최적화와 제약 조건이 있는 역전파를 통해 안정적인 훈련을 가능하게 한다.
• 은닉 출력층 방법에서는 다음 상태를 립누노프 감소 조건을 보장하는 1차원 근 찾기 문제의 해로 암시적으로 정의한다.
• 상태 과정에 마르코프 가정을 적용하여 확률적 립누노프 정리를 적용하고, $ V $의 기대 감소를 통해 거의 확실히 점근적 안정성을 도출한다.
• 전이 분포를 혼합 밀도 네트워크(MDN)로 모델링하여 프레임워크를 확률적 시스템으로 확장하고, $ V(\bm{\mu}_{t+1}) \leq \beta V(\bm{x}_t) $ 를 만족시키며 $ \beta < 1 $ 이 되도록 하여 안정성을 확보한다.
• 관측된 상태 전이 $ (\bm{x}_t, \bm{x}_{t+1}) $ 를 사용하여 모델을 엔드 투 엔드로 훈련하고, 립누노프 함수를 안정성 조건을 만족시키도록 함께 훈련한다.

실험 결과

연구 질문

• RQ1 이산시간 확률적 시스템에서 증명 가능하고 거의 확실히 안정적인 행동을 보이는 딥 네ural 네트워크 기반 동적 모델을 훈련시킬 수 있는가?
• RQ2 어떻게 DNN 아키텍처에 립누노프 함수를 통합하여 안정성이 후행 검증이 아닌 구축 시부터 보장되도록 할 수 있는가?
• RQ3 결정론적 및 확률적 설정 모두에서 립누노프 감소 조건을 효과적이고 계산 효율적으로 강제하는 방법은 무엇인가?
• RQ4 립누노프 함수의 볼록성을 활용하여 깊은 동적 모델의 폐쇄형 안정적 훈련을 가능하게 할 수 있는가?
• RQ5 복잡한 비선형 시스템에서 은닉 출력층 방법과 볼록성 기반 훈련 방식은 안정성과 정확성 측면에서 어떻게 비교되는가?

주요 결과

• 볼록성 기반 방법은 결정론적 시스템에서 안정된 모델을 성공적으로 생성하지만, 높은 곡률 또는 변동성이 큰 영역에서는 진짜 궤적에서 벗어날 수 있다.
• 은닉 출력층 방법은 상태 공간의 복잡하고 변동성이 큰 영역을 더 잘 탐색하여 진짜 궤적을 거의 완벽하게 따라간다.
• 확률적 시스템에서는 립누노프 함수를 통합한 MDN 기반 모델이 부분적인 궤적에서 훈련된 후에도 거의 확실히 안정적인 행동을 유지하며, 안정성과 샘플 경로 정확도 측면에서 표준 MDN보다 뛰어나다.
• 안정된 모델의 음의 로그우도(NLL) 성능은 20개의 새로운 궤적에서 낮게 유지되어 좋은 확률적 모델링과 안정성 간의 균형을 보여준다.
• 이론적 분석은 기대 립누노프 감소 조건이 $ \alpha > 0 $ 를 만족할 경우 원점이 거의 확실히 전역 지수 안정적임을 확인한다.
• 이 프레임워크는 제어 및 강화 학습으로 확장 가능하며, 산업 응용 분야에서 안전하고 해석 가능하며 안정적인 자율 시스템 개발에 잠재력을 지닌다.