[논문 리뷰] Learning Stable Deep Dynamics Models for Partially Observed or Delayed Dynamical Systems

Andreas Schlaginhaufen, Philippe Wenk외 2명|arXiv (Cornell University)|2021. 10. 27.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 안정적이고 부분 관측되거나 지연이 있는 동역학계를 학습하기 위해 새로운 라파노프-라주미힌 정규화를 도입한 신경 지연 미분 방정식(NDDEs)을 제안한다. 상태의 역사를 증강하고 신경망 기반의 라파노프-라주미힌 함수를 통해 안정성을 강제함으로써, 희박하고 노이즈가 있는 관측과 입력 지연이 있는 상황에서도 지수 수렴을 보장한다. 이는 강인한 시스템 식별과 안정화 피드백 정책 학습을 가능하게 한다.

ABSTRACT

Learning how complex dynamical systems evolve over time is a key challenge in system identification. For safety critical systems, it is often crucial that the learned model is guaranteed to converge to some equilibrium point. To this end, neural ODEs regularized with neural Lyapunov functions are a promising approach when states are fully observed. For practical applications however, partial observations are the norm. As we will demonstrate, initialization of unobserved augmented states can become a key problem for neural ODEs. To alleviate this issue, we propose to augment the system's state with its history. Inspired by state augmentation in discrete-time systems, we thus obtain neural delay differential equations. Based on classical time delay stability analysis, we then show how to ensure stability of the learned models, and theoretically analyze our approach. Our experiments demonstrate its applicability to stable system identification of partially observed systems and learning a stabilizing feedback policy in delayed feedback control.

연구 동기 및 목표

• 부분 관측되거나 지연이 있는 동역학계에 적용했을 때 표준 신경 ODEs의 불안정성과 낮은 일반화 성능를 해결하기 위해.
• Augmented Neural ODEs(ANODEs)에서 관측되지 않은 증강 상태를 초기화하는 데 발생하는 핵심 과제를 극복하기 위해.
• 라파노프-라주미힌 접근법을 사용하여 ODEs에서의 신경 라파노프 함수 정규화를 시간 지연 시스템으로 확장하기 위해.
• 입력 지연이 있는 시스템에서 안정적인 시스템 식별과 안정화 피드백 정책 학습을 가능하게 하기 위해.
• 새로운 정규화 체계를 통해 NDDEs에 대한 이론적 안정성 보장과 실용적 구현을 제공하기 위해.

제안 방법

• 비마르코프 동역학을 모델링하기 위해 시스템 상태를 과거 역사를 함께 증강하여 표준 신경 ODEs를 신경 지연 미분 방정식(NDDEs)으로 변환한다.
• NDDE 모델의 지수 안정성을 보장하기 위해 신경망 기반의 라파노프-라주미힌 함수를 도입한다.
• 라파노프-라주미힌 정리에 기반한 정규화 손실을 설계하여, 지연에 영향을 받지 않는 영역 내에서 궤도 沿해 라파노프 함수의 도함수가 음의 정부호가 되도록 보장한다.
• 무한차원 상태 공간을 처리하기 위해 이산화된 수치적 방법을 사용하여 역전파를 통한 훈련을 가능하게 한다.
• 데이터 재구성 손실과 제안된 라파노프-라주미힌 정규화 손실을 조합한 손실을 통해 NDDE를 훈련시킨다.
• 초기 LQR 이득을 온전한 초기값으로 사용하여 지연된 제어 시스템의 안정화 피드백 정책 학습에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 표준 신경 ODEs가 실패하는 부분 관측되거나 지연이 있는 동역학계를 효과적으로 모델링하기 위해 역사 증강 상태를 가진 NDDEs가 유용한가?
• RQ2 제안된 라파노프-라주미힌 정규화가 새로운 시험 궤도에서 학습된 NDDE 모델의 지수 안정성을 보장하는가?
• RQ3 부분 관측과 노이즈 조건에서 ANODEs와 비교해 NDDE 접근법은 안정성과 일반화 성능에서 어떻게 다른가?
• RQ4 초기 정책이 불안정할 경우에도 이 프레임워크는 지연된 제어 시스템의 안정화 피드백 정책을 성공적으로 학습할 수 있는가?
• RQ5 하이퍼파rameter α와 q는 학습된 동역학의 수렴 속도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 역사 증강을 통한 NDDE 모델은 표준 ANODEs보다 부분 관측 시스템에서 안정성과 일반화 성능에서 뛰어나며, 관측되지 않은 초기 상태를 추정할 필요 없이도 성능을 확보한다.
• 제안된 라파노프-라주미힌 정규화는 학습된 동역학의 지수 안정성을 보장하며, 새로운 시험 궤도에서 LRF 손실이 0이 되어 유효한 안정성 인증을 나타낸다.
• 0.05초의 입력 지연이 있는 역경량자 실험에서, 학습된 피드백 정책은 시스템을 안정화시켰고, 하이퍼파rameter α와 q를 통해 감쇠율을 제어할 수 있었다.
• 0.05초의 입력 지연이 있는 카트폴 실험에서, 초기 LQR 제어기가 불안정했음에도 불구하고 이 방법은 안정화 피드백 정책을 성공적으로 학습했다.
• 다양한 시험 궤도에서 안정적인 시스템 식별을 달성했으며, 중앙값 시험 손실이 0.05–0.95 분위수 범위 내에 있었고, 노이즈와 초기화에 대한 강인성을 입증했다.
• 코드와 이론적 분석이 공개되어 있어 재현 가능하며, 다른 지연 또는 부분 관측 동역학계로의 확장도 가능하다.