[논문 리뷰] Learning Stable Deep Dynamics Models

Gaurav Manek, J. Zico Kolter|arXiv (Cornell University)|2020. 01. 17.

Model Reduction and Neural Networks참고 문헌 18인용 수 55

한 줄 요약

이 논문은 동역학 모델과 양의 정의인 Lyapunov 함수를 공동으로 학습하여 이론적으로 전역적으로 안정성을 보장하는 신경망 동역학을 학습하는 방법을 제시한다. 이를 통해 간단하고 복잡한 동역학의 안정적인 모델링이 가능해지며, 비디오 텍스처를 포함한다.

ABSTRACT

Deep networks are commonly used to model dynamical systems, predicting how the state of a system will evolve over time (either autonomously or in response to control inputs). Despite the predictive power of these systems, it has been difficult to make formal claims about the basic properties of the learned systems. In this paper, we propose an approach for learning dynamical systems that are guaranteed to be stable over the entire state space. The approach works by jointly learning a dynamics model and Lyapunov function that guarantees non-expansiveness of the dynamics under the learned Lyapunov function. We show that such learning systems are able to model simple dynamical systems and can be combined with additional deep generative models to learn complex dynamics, such as video textures, in a fully end-to-end fashion.

연구 동기 및 목표

• 로보틱스, 제어, 예측에서 이론적으로 증명 가능한 안정성을 갖는 학습 동역학 시스템의 필요성을 동기화한다.
• Lyapunov 함수를 동역학 모델에 통합하여 전역적으로 안정성을 강제하는 방법을 제안한다.
• 물리 시스템(예: n-링 펜듈럼)에서 접근법을 시연하고 비디오 텍스처를 위한 잠재 동역학 학습에 적용한다.
• 안정된 동역학을 VAE와 같은 더 큰 아키텍처와 엔드투엔드 학습에 통합하는 방법을 보인다.

제안 방법

• 공간적 명목 동역학 모델 f̂와 양의 정의 Lyapunov 함수 V를 정의한다.
• 학습된 동역학을 ∇V(x)ᵀf(x) ≤ −αV(x)를 만족하는 반공간으로 f̂를 투사하여 제약한다.
• V를 입력-볼록신경망(ICNN)으로 표현하여 로컬 최적점이 없고 볼록성을 보장한다.
• V(0)=0을 보장하고 엄밀한 양의 정의를 강제하기 위해 작은 ε||x||² 항을 추가한다.
• V를 연속 미분 가능하게 유지하기 위해 미분 가능하고 스무스한 활성화 함수를 사용한다.
• 강한 볼록성(강한 볼록성)을 완화하기 위해 가역 함수 F를 통한 왜곡된 입력 공간을 선택적으로 허용한다.

실험 결과

연구 질문

• RQ1 모든 상태에서 전역 지수적 안정성을 갖도록 신경망 동역학 모델을 학습시킬 수 있는가?
• RQ2 비선형 시스템에 대해 Lyapunov 함수를 동역학과 함께 학습하는 것이 실무적으로 안정성을 보장하는가?
• RQ3 이 접근법이 더 높은 차원의 잠재 공간으로 확장되고 복잡한 출력(예: 비디오 텍스처)에 대해 VAE와 같은 엔드투엔드 아키텍처에 통합될 수 있는가?
• RQ4 n-링 펜듈럼과 같은 물리 시스템에서 안정된 동역학 모델이 단순하고 제약되지 않은 동역학 모델과 어떻게 비교되는가?

주요 결과

• f̂의 투사에서 얻은 제안된 f는 모든 x에 대해 ∇V(x)ᵀf(x) ≤ −αV(x)를 만족하여 원점으로의 전역 지수적 안정성을 보장한다.
• V는 ICNN으로 구현되어 볼록성과 로컬 최적점의 부재를 보장하며, 정규화 항으로 인해 0이 유일한 최솟값이다.
• 무작위 네트워크, n-링 펜듈럼, 고차원 잠재 비디오 텍스처 동역학에 대해 안정적인 학습 동역학이 실험에서 보인다.
• 펜듈럼에서 안정 모델은 에너지 일관성 있는 거동을 유지하고 단순하고 불안정한 모델에 비해 장기 오차를 감소시킨다.
• 비디오 텍스처 생성에서 안정 동역학을 VAE와 통합하면 다양한 장기 프레임을 얻을 수 있는 반면, 순진한 모델은 발산한다.