[논문 리뷰] Promoting global stability in data-driven models of quadratic nonlinear dynamics

Alan A. Kaptanoglu, Jared Callaham외 3명|arXiv (Cornell University)|2021. 05. 05.

Model Reduction and Neural Networks참고 문헌 171인용 수 95

한 줄 요약

이 논문은 비선형 제곱형 시스템의 모델에서 전역 안정성을 보장하기 위해 슈레겔과 노악의 트랩핑 정리(Trapping Theorem)를 최적화 목표에 통합한 데이터 기반 기계학습 방법인 '트랩핑 SINDy(Trapping SINDy)'를 소개한다. 이 방법은 시스템의 에너지 동역학을 제약하여 장기적으로 유한한 궤적을 보장함으로써 안정성과 정확도를 크게 향상시키며, 특히 노이즈가 첨가된 경우나 유체 및 플라즈마 유동의 고차원 감소 차원 모델에서 뛰어난 성능을 발휘한다.

ABSTRACT

Modeling realistic fluid and plasma flows is computationally intensive, motivating the use of reduced-order models for a variety of scientific and engineering tasks. However, it is challenging to characterize, much less guarantee, the global stability (i.e., long-time boundedness) of these models. The seminal work of Schlegel and Noack (JFM, 2015) provided a theorem outlining necessary and sufficient conditions to ensure global stability in systems with energy-preserving, quadratic nonlinearities, with the goal of evaluating the stability of projection-based models. In this work, we incorporate this theorem into modern data-driven models obtained via machine learning. First, we propose that this theorem should be a standard diagnostic for the stability of projection-based and data-driven models, examining the conditions under which it holds. Second, we illustrate how to modify the objective function in machine learning algorithms to promote globally stable models, with implications for the modeling of fluid and plasma flows. Specifically, we introduce a modified "trapping SINDy" algorithm based on the sparse identification of nonlinear dynamics (SINDy) method. This method enables the identification of models that, by construction, only produce bounded trajectories. The effectiveness and accuracy of this approach are demonstrated on a broad set of examples of varying model complexity and physical origin, including the vortex shedding in the wake of a circular cylinder.

연구 동기 및 목표

• 유체 및 플라즈마 유동의 데이터 기반 감소 차원 모델에서 전역 안정성 보장의 부족을 해결하기 위해.
• 원래 투영 기반 모델을 위한 것으로 개발된 슈레겔과 노악의 트랩핑 정리를 현대 기계학습 모델을 위한 진단 및 설계 도구로 적응시키기 위해.
• 구성 자체로 전역 안정성을 보장하는 수정된 SINDy 알고리즘을 개발하기 위해.
• 특히 복잡한 유동(예: 소용리 흐름)에서와 같은 노이즈가 첨가되거나 고차원적인 설정에서의 시스템 식별의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 제곱형이고 에너지를 보존하는 비선형성을 가진 데이터 기반 모델에 대해 슈레겔과 노악의 트랩핑 정리를 안정성 진단 도구로 통합한다.
• 에너지 도함수 행렬의 준음성(positive semidefiniteness)을 강제하는 커스터마이즈된 손실 항을 추가하여 스퍼스 식별 기반 비선형 동역학(SINDy) 알고리즘을 수정한다.
• 에너지 함수를 리아푸노프 함수로 사용하여 궤적이 트랩핑 영역 내에서 유한하게 유지되도록 보장한다.
• 트랩핑 정리로부터 유도된 전역 안정성의 필수 및 필요 조건을 충족시키기 위해 비볼록 최적화를 적용한다.
• 재현 가능성과 기존 워크플로우에의 통합을 위해 오픈소스 PySINDy 패키지에 이 방법을 구현한다.
• 유체 유동의 고정밀 수치 시뮬레이션(DNS) 및 기준 시스템, 혼돈 동역학 등에 대해 이 방법을 검증한다.

실험 결과

연구 질문

• RQ1 슈레겔과 노악의 트랩핑 정리는 데이터 기반 모델에 대해 후행적 안정성 진단 도구로 효과적으로 적용될 수 있는가?
• RQ2 트랩핑 정리를 기계학습 알고리즘의 손실 함수에 통합하여 전역 안정성 모델을 촉진할 수 있는가?
• RQ3 트랩핑 조건을 통해 전역 안정성을 강제하면 노이즈나 손상된 데이터 상황에서도 모델의 정확도와 강건성이 향상되는가?
• RQ4 고차원 감소 차원 모델에서 트랩핑 SINDy 방법은 제약 없거나 국소 안정성만 확보하는 SINDy 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 신경망 인코더나 쿠퍼만 기반 리프트에 의해 유도되는 비선형 좌표 변환 하에서 안정성 특성은 어떻게 변화하는가?

주요 결과

• 트랩핑 SINDy 알고리즘은 혼돈 동역학을 보이는 시스템에서도 O(10) 차원 이내의 자유도를 가진 데이터로부터 전역 안정성과 희소성을 동시에 확보한 모델을 성공적으로 식별했다.
• 트랩핑 SINDy 손실을 적용해 훈련한 모델은 기존의 제약 없는 SINDy 모델이 발산하는 상황에서도 유한한 궤적을 유지하며 노이즈에 대해 훨씬 더 강건한 성능를 보였다.
• 원형 실린더 뒤의 소용리 흐름에 대해, DNS 스냅샷에서 최소한의 데이터 손상으로도 정확하고 안정적인 감소 차원 모델을 회복했다.
• 명시적인 트랩핑 영역을 계산할 수 없는 경우에도 알고리즘이 모델 발견 성능을 향상시켜, 엄밀한 정리 준수를 초월한 광범위한 안정성 향상이 가능함을 시사했다.
• 특히 강한 비선형 에너지 전달이 발생하는 시스템에서 장기 시뮬레이션의 정밀도에서 표준 SINDy 및 제약 조건이 적용된 변종보다 뛰어난 성능을 보였다.
• 이 방법은 저차원 기준 시스템뿐 아니라 고차원 유체역학 문제에서도 효과를 발휘하여, 복잡한 시스템으로의 확장 가능성까지 보여주었다.