[논문 리뷰] Inference of Continuous Linear Systems from Data with Guaranteed Stability

Pawan Goyal, Igor Pontes Duff외 1명|arXiv (Cornell University)|2023. 01. 24.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 유한한 안정성 보장을 위해 안정 행렬 매개변수화와 도함수 추정을 피하는 적분 형태의 공식화를 활용하여, 데이터로부터 연속시간 선형 동적 시스템을 학습하는 sLSI 방법을 제안한다. 이 방법은 학습된 모든 시스템이 본질적으로 안정됨을 보장하며, 유사한 데이터 피팅 성능에도 불구하고 장기 예측 정확도에서 기존 방법을 능가한다.

ABSTRACT

Machine-learning technologies for learning dynamical systems from data play an important role in engineering design. This research focuses on learning continuous linear models from data. Stability, a key feature of dynamic systems, is especially important in design tasks such as prediction and control. Thus, there is a need to develop methodologies that provide stability guarantees. To that end, we leverage the parameterization of stable matrices proposed in [Gillis/Sharma, Automatica, 2017] to realize the desired models. Furthermore, to avoid the estimation of derivative information to learn continuous systems, we formulate the inference problem in an integral form. We also discuss a few extensions, including those related to control systems. Numerical experiments show that the combination of a stable matrix parameterization and an integral form of differential equations allows us to learn stable systems without requiring derivative information, which can be challenging to obtain in situations with noisy or limited data.

연구 동기 및 목표

• 신뢰할 수 있는 예측과 제어를 위해 필수적인 조건인 안정성을 보장하는 데이터 기반 연속시간 선형 동적 시스템 학습 방법을 개발하는 것.
• 노이즈가 많거나 데이터가 제한된 경우조차도 기존 학습 방법에서 유도되는 불안정한 모델 문제를 해결하는 것.
• 노이즈가 많거나 희소한 데이터 상황에서 도함수 추정에 취약한 시스템 식별 과정에서 도함수 추정이 필요 없도록 하는 것.
• POD를 통한 차원 감소와의 조합을 통해 고차원 시스템에 대한 확장 가능한 학습을 가능하게 하는 것.
• 안정성 제약 조건을 구조적으로 강제함으로써 고유값 또는 행렬 부등식 제약 조건을 수반하는 비볼록 최적화를 피하는 것.

제안 방법

• Gillis 및 Sharma(2017)의 안정 행렬 매개변수화를 활용하여, 모든 학습된 시스템 행렬이 설계상 본질적으로 안정됨을 보장한다.
• 미분 방정식의 적분 형태로 시스템 식별 문제를 공식화하여, 노이즈가 있는 데이터에서 도함수 추정이 필요 없도록 한다.
• 식별 문제를 비제약 최소제곱 최적화 문제로 변환함으로써 표준 수치 해법기를 통해 효율적이고 확장 가능한 해를 도출한다.
• 고차원 시스템의 경우, 학습 이전에 데이터를 저차원 부분공간으로 투영하기 위해 적절한 정규직교분해(POD)를 통합한다.
• 학습 및 테스트 동안 시스템 동역학을 수치적으로 통합하기 위해 룬게-쿠타 방법을 구현한다.
• 적절한 매개변수화를 통해 제어 시스템으로의 확장이 가능하며, 매개변수 변화를 지원한다.

실험 결과

연구 질문

• RQ1 노이즈가 있거나 희소한 데이터에서 도함수 추정에 의존하지 않고도, 안정성을 보장하는 연속시간 선형 동적 시스템을 데이터로부터 학습할 수 있는가?
• RQ2 데이터가 노이즈가 많거나 희소한 상황에서 시스템 식별 과정에서 도함수 추정을 어떻게 피할 수 있는가?
• RQ3 행렬 매개변수화를 통한 안정성 강제가 비제약 학습에 비해 장기 예측 성능을 향상시키는가?
• RQ4 제안된 방법이 안정성과 정확도를 유지하면서 고차원 시스템으로 확장 가능한가?
• RQ5 시간 도메인 시뮬레이션 정확도 측면에서 안정성 보장 방법이 기존 방법보다 어떻게 성능을 냈는가?

주요 결과

• sLSI 방법은 모든 수치 예제에서 모든 고유값이 왼쪽 반평면에 위치함으로써, 보장된 안정성을 갖는 연속시간 선형 시스템을 성공적으로 학습하였다.
• 표준 학습 방법(LSI)과 달리, 데이터 피팅 수준이 유사하더라도 sLSI는 장기 예측에서 실패를 방지하기 위해 불안정한 모델을 피한다.
• 유동 흐름 예제에서 sLSI는 안정된 고유값과 정확한 속도장 시뮬레이션을 달성했고, LSI는 불안정한 동역학을 유도했다.
• 버거스 방정식 예제에서 sLSI는 모든 고유값이 왼쪽 반평면에 위치하여 안정성을 유지했지만, LSI는 불안정한 고유값을 가지며 발산 행동를 보였다.
• 시간 도메인 시뮬레이션 결과, sLSI는 테스트 초기 조건에서 LSI 대비 상대 L2 오차를 최대 두 배까지 개선했다.
• 21모드의 POD 부분공간에 투영된 후에도 정확도가 유지되었으며, 시스템 에너지의 99.9% 이상을 포괄함으로써 감소된 차원 모델링에서의 강건성을 입증했다.