[논문 리뷰] Stochastic Adversarial Koopman Model for Dynamical Systems

Kaushik Balakrishnan, Devesh Upadhyay|arXiv (Cornell University)|2021. 09. 10.

Model Reduction and Neural Networks참고 문헌 49인용 수 6

한 줄 요약

이 논문은 잠재 표현을 정규 분포로 모델링하고, 학습된 행렬 $K_\mu$ 와 $K_\sigma$ 를 통해 평균과 표준편차에 대해 쿠프만 연산자를 적용함으로써 동역학 시스템을 발전시킨 스토하스틱 어드버서리 쿠프만(SAK) 모델을 제안한다. 이 방법은 적대적 훈련과 변분 오토에인코더를 결합하여 혼돈, 유체 및 배터리 역학 시스템 전반에서 강인하고 낮은 오차 예측을 달성하며, 삼중대각 행렬을 사용할 경우 훨씬 적은 파라미터로도 유사한 성능을 보인다.

ABSTRACT

Dynamical systems are ubiquitous and are often modeled using a non-linear system of governing equations. Numerical solution procedures for many dynamical systems have existed for several decades, but can be slow due to high-dimensional state space of the dynamical system. Thus, deep learning-based reduced order models (ROMs) are of interest and one such family of algorithms along these lines are based on the Koopman theory. This paper extends a recently developed adversarial Koopman model (Balakrishnan \& Upadhyay, arXiv:2006.05547) to stochastic space, where the Koopman operator applies on the probability distribution of the latent encoding of an encoder. Specifically, the latent encoding of the system is modeled as a Gaussian, and is advanced in time by using an auxiliary neural network that outputs two Koopman matrices $K_μ$ and $K_σ$. Adversarial and gradient losses are used and this is found to lower the prediction errors. A reduced Koopman formulation is also undertaken where the Koopman matrices are assumed to have a tridiagonal structure, and this yields predictions comparable to the baseline model with full Koopman matrices. The efficacy of the stochastic Koopman model is demonstrated on different test problems in chaos, fluid dynamics, combustion, and reaction-diffusion models. The proposed model is also applied in a setting where the Koopman matrices are conditioned on other input parameters for generalization and this is applied to simulate the state of a Lithium-ion battery in time. The Koopman models discussed in this study are very promising for the wide range of problems considered.

연구 동기 및 목표

• 동역학 시스템에 대해 불확실성과 비선형 역학을 효율적으로 포착하는 데이터 기반 감소 차원 모델(Rom)을 개발하는 것.
• 잠재 임bedding의 분포를 정규분포로 모델링하여 확률적 상태 예측이 가능한 잠재 공간에 대한 쿠프만 이론을 확장하는 것.
• 잠재 공간에서 GAN 판별기와 함께 적대적 훈련을 통해 예측의 강인성과 오차를 감소시켜 정확도를 향상시키는 것.
• 외부 파rameter(예: 배터리 충전률 또는 제어 입력)에 따라 달라지는 조건부 쿠프만 행렬을 통해 일반화 능력을 향상시키는 것.
• 낮은 랭크 쿠프만 구조(예: 삼중대각)를 탐색하여 예측 정확도를 유지하면서 모델 복잡성을 감소시키는 것.

제안 방법

• 고차원 시스템 상태를 평균 $\mu$ 와 표준편차 $\sigma$ 로 파arameter화된 정규 잠재 분포로 매핑하는 스토하스틱 볼륨을 가진 오토에인코더.
• 두 개의 보조 신경망이 시간에 따라 잠재 분포의 평균과 표준편차를 선형적으로 진행시키는 쿠프만 행렬 $K_\mu$ 와 $K_\sigma$ 를 예측한다.
• 재구성 손실, 기울기 손실, 그리고 GAN 판별기에서 유도된 적대적 손실의 조합을 사용하여 쿠프만 역학을 훈련함으로써 잠재 공간의 현실성과 예측 정확도를 향상시킨다.
• 감소된 순서의 공식화는 $K_\mu$ 와 $K_\sigma$ 에 삼중대각 구조를 가정함으로써 훈련 가능한 파라미터 수를 크게 줄이며 성능를 유지한다.
• 쿠프만 행렬이 외부 입력(예: 제어 파rameter 또는 배터리 상태)에 따라 달라지는 조건부 설정으로 확장되어 다양한 조건에서의 동역학 시스템 예측을 가능하게 한다.
• 디코더는 진화한 잠재 분포에서 물리 공간 상태를 재구성함으로써 시스템 진화의 장기 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 개별 샘플이 아닌 잠재 표현의 확률 분포에 대해 쿠프만 연산자를 효과적으로 적용할 수 있는가? 이는 동역학 시스템의 불확실성 인식 모델링을 향상시키는가?
• RQ2 GAN 판별기를 사용한 적대적 훈련이 고차원 비선형 시스템에서 쿠프만 기반 예측의 강인성과 정확도를 어떻게 향상시키는가?
• RQ3 복잡한 동역학 시스템에서 예측 성능이 저하되지 않도록 쿠프만 행렬의 크기를 얼마나 줄일 수 있는가(예: 삼중대각 구조)?
• RQ4 외부 파rameter에 따라 동역학이 달라지는 조건부 쿠프만 모델은 배터리 모델링과 같이 다양한 시스템 상태에 일반화될 수 있는가?
• RQ5 시간에 따라 변화하는 평균과 분산을 가진 정규 분포로 잠재 상태를 모델링하면, 결정론적 잠재 표현보다 더 정확하고 안정적인 장기 예측이 가능한가?

주요 결과

• SAK 모델은 혼돈, 유체, 전기화학적 시스템을 포함한 다섯 가지 다양한 동역학 시스템에서 기준 모델보다 낮은 테스트 예측 오차를 기록했으며, 특히 GAN 손실 가중치 $\lambda_{\mathrm{GAN}}$ 가 적절히 조정된 경우에 뚜렷한 성능 향상을 보였다.
• GAN 판별기를 사용한 적대적 훈련은 다섯 가지 테스트 문제 중 네 가지에서 예측 오차를 감소시켜 잠재 공간 내에서의 강인성과 일반화 능력 향상을 입증했다.
• 삼중대각 쿠프만 공식화는 전체 쿠프만 행렬과 유사한 예측 성능를 달성하면서도 비제로 파라미터 수를 한 단계 감소시켰다.
• 조건부 SAK 모델은 다양한 운영 조건에서 리튬이온 배터리의 상태 진화를 성공적으로 예측하여 강력한 일반화 능력을 보였다.
• 모델은 카르모타-시바시크스 시스템의 혼돈, 소용리의 탈출,flame-vortex 상호작용, 반응-확산 과정 등 복잡한 역학을 고정밀도로 효과적으로 포착했다.
• 스토하스틱 잠재 표현의 사용은 미래 상태의 분포를 예측할 수 있게 해주어 결정론적 모델보다 풍부한 불확실성 정량화를 가능하게 했다.