[논문 리뷰] Learning Parametric Koopman Decompositions for Prediction and Control

Yue Guo, Milan Korda외 2명|arXiv (Cornell University)|2023. 10. 02.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 신경망을 사용하여 정적 또는 시간에 따라 변화하는 매개변수를 가진 동역학계에 대해 공통의 불변 부분공간과 매개변수에 의존하는 투영된 쿠페르만 연산자 가중치의 가족을 동시에 학습하여, 매개변수화된 쿠페르만 분해를 학습 기반으로 구성하는 방법을 제안한다. 이 방법은 고차원적이고 강하게 비선형적인 시스템에서 정확한 예측과 데이터 기반 최적 제어를 가능하게 하며, 예측 정확도와 제어 성능 모두에서 기존 방법들을 능가한다.

ABSTRACT

We present an approach to construct approximate Koopman-type decompositions for dynamical systems depending on static or time-varying parameters. Our method simultaneously constructs an invariant subspace and a parametric family of projected Koopman operators acting on this subspace. We parametrize both the projected Koopman operator family and the dictionary that spans the invariant subspace by neural networks and jointly train them with trajectory data. We show theoretically the validity of our approach, and demonstrate via numerical experiments that it exhibits significant improvements over existing methods in solving prediction problems, especially those with large state or parameter dimensions, and those possessing strongly non-linear dynamics. Moreover, our method enables data-driven solution of optimal control problems involving non-linear dynamics, with interesting implications on controllability.

연구 동기 및 목표

• 역동적 시스템의 동역학에 대한 지식이 불완전한 상황에서, 궤적 데이터만을 기반으로 매개변수화된 동역학계를 모델링하는 데 도전한다.
• 강한 비선형성을 지닌 비자율적, 매개변수에 의존하는 시스템으로 쿠페르만 연산자 이론을 확장한다.
• 기존의 선형 또는 이차형 근사의 한계를 극복하기 위해, 데이터로부터 불변 부분공간과 매개변수 가중치의 가족을 동시에 학습한다.
• 복잡한 비선형 역학을 수반하는 최적 제어 문제의 데이터 기반 해결을 가능하게 한다.

제안 방법

• 불변 부분공간을 생성하는 사전과 투영된 쿠페르만 연산자 가중치의 가족을 모두 깊은 신경망을 사용해 매개변수화한다.
• 궤적 데이터를 동시에 사용하여 부분공간과 연산자 근사치를 공동 최적화하도록 신경망을 훈련시킨다.
• 모든 매개변수 공간에서 연속성과 근사 정확도를 보장하는 쿠페르만 연산자에 대한 신경망 아키텍처를 사용한다.
• 신경망의 함수 근사 능력을 활용하여 비선형 매개변수 의존성을 직접 유한 차원의 쿠페르만 연산자에 통합한다.
• 콤���크성과 균일 연속성의 이론적 보장을 활용하여, 약한 조건 하에서도 근사의 수렴을 보장한다.
• K(\bm{u})에 잔차 구조를 도입하여 마지막 은닉층의 뉴런 수에 의해 행렬 질량이 제한되도록 하여, 저랭크 근사가 가능하도록 한다.

Figure 1 : The neural network architecture of PK-NN. The trainable parameters of $K(\bm{u};\bm{\theta}_{K})$ are integrated within the structure of $NN_{K}$ , and a distinct neural network $NN_{\bm{\Psi}}$ is used to parametrize the dictionaries $\bm{\Psi}(\bm{x};\bm{\theta}_{\psi})$ .

실험 결과

연구 질문

• RQ1 통합적이고 데이터 기반의 방법으로 비선형적이고 매개변수에 의존하는 동역학계에 대해 불변 부분공간과 매개변수 가중치의 가족을 동시에 학습할 수 있는가?
• RQ2 신경망을 어떻게 사용하여 쿠페르만 연산자와 사전을 동시에 학습함으로써 쿠페르만 역학의 선형적 구조를 유지할 수 있는가?
• RQ3 이러한 방법은 고차원적 또는 강하게 비선형적인 시스템에서 기존 방법보다 얼마나 높은 예측 정확도를 달성하는가?
• RQ4 학습된 매개변수화된 쿠페르만 모델이 비선형 시스템의 최적 제어에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 방법은 특히 상태 또는 매개변수 차원이 큰 시스템에서 기존 방법보다 예측 정확도에서 뚜렷한 향상을 이룬다.
• 이 방법은 공동 신경망 훈련을 통해 고차원 상태와 매개변수 간의 복잡한 비선형 관계를 성공적으로 포착한다.
• 수치 실험 결과, 학습된 매개변수화된 쿠페르만 연산자가 비자율적이고 비선형적인 시스템에서 장기 예측을 정확하게 가능하게 한다.
• 이 방법은 비선형 시스템의 데이터 기반 최적 제어를 지원하며, 가시화된 제어 가능성 분석과 궤적 최적화에서 성능 향상을 입증한다.
• 이론적 분석을 통해 쿠페르만 연산자 가중치의 가족에 대해 약한 정규성 조건 하에서 근사 오차를 임의로 작게 만들 수 있음을 확인한다.
• 쿠페르만 연산자 행렬의 랭크는 신경망의 마지막 은닉층의 뉴런 수에 의해 제한되며, 이는 저랭크이고 효율적인 표현을 가능하게 한다.

Figure 2 : Comparison on different $(\nu_{1},\nu_{2})$ with $\nu_{1}\nu_{2}=10000$ . The topmost panel displays the prediction results for PK-NN and M1 on both training and testing data. The horizontal axis represents the values of $(\nu_{1},\nu_{2})$ . In the bottom panels, we provide a detailed er