[논문 리뷰] Structure-preserving Sparse Identification of Nonlinear Dynamics for Data-driven Modeling

Kookjin Lee, Nathaniel Trask외 1명|arXiv (Cornell University)|2021. 09. 11.

Model Reduction and Neural Networks참고 문헌 46인용 수 8

한 줄 요약

이 논문은 SINDy와 신경 ODE를 융합하여 물리적으로 일致하고 해석 가능한 동역학계를 학습할 수 있는 구조 보존 희소 식별 프레임워크를 제안한다. 신경 ODE 학습 파이프라인 내에서 L1 정규화와 크기 기반 프루닝을 결합함으로써, 블랙박스 ODE와 해밀토니안, 제너릭, 포트-해밀토니안 시스템과 같은 구조 보존 동역학을 모두 발견할 수 있다. 이는 가역성, 비가역성, 혼돈 시스템 모두에서 정확도와 안정성이 향상됨을 보여준다.

ABSTRACT

Discovery of dynamical systems from data forms the foundation for data-driven modeling and recently, structure-preserving geometric perspectives have been shown to provide improved forecasting, stability, and physical realizability guarantees. We present here a unification of the Sparse Identification of Nonlinear Dynamics (SINDy) formalism with neural ordinary differential equations. The resulting framework allows learning of both "black-box" dynamics and learning of structure preserving bracket formalisms for both reversible and irreversible dynamics. We present a suite of benchmarks demonstrating effectiveness and structure preservation, including for chaotic systems.

연구 동기 및 목표

• 데이터 기반 동역학계 모델링에서 보존 법칙과 열역학적 일致성과 같은 물리적 구조를 유지하는 문제를 해결한다.
• 일반적으로 가중 손실 항을 통해 근사적으로 제약 조건을 강제하는 물리 기반 기계학습의 한계를 극복한다.
• 희소 식별(SINDy)과 신경 ODE를 통합하여 통합된 프레임워크를 개발함으로써, 설명 가능한 블랙박스 모델링과 정확한 구조 보존을 동시에 가능하게 한다.
• 기하학적 형식을 통해 수학적 성질이 보장되는 복잡한 동역학, 특히 혼돈 시스템의 강력한 학습을 가능하게 한다.
• 다양한 벤치마크, 즉 가역성, 비가역성, 혼돈 시스템을 포함한 다양한 시스템에서 방법의 유효성을 입증한다.

제안 방법

• 학습된 계수 행렬을 통해 비선형 기저 함수의 희소 조합으로 벡터 필드를 매개변수화함으로써, SINDy 형식을 신경 ODE에 적응시킨다.
• 희소성과 관련 기저 함수의 최소 집합을 식별하기 위해 학습 중에 L1 가중치 감쇠와 크기 기반 프루닝을 적용한다.
• 해밀토니안, 제너릭, 포트-해밀토니안 형식과 같은 구조 보존 형식을 신경 ODE 프레임워크에 통합하여, 물리적 제약 조건을 정확히 구성에 통합한다.
• 시간에 따른 기울기를 계산하기 위해 미분 가능한 ODE 솔버(dopri5 등)를 사용하여, 희소 계수 행렬의 엔드 투 엔드 학습을 가능하게 한다.
• 상태 측정치와 수치적으로 근사된 도함수에서 후보 함수의 라이브러리를 구성한다 (예: 다항식, 삼각함수 항).
• 두 단계 학습 전략을 적용한다: 먼저 L1 정규화를 사용해 신경 ODE를 학습한 후, 작은 계수를 프루닝하여 희소하고 해석 가능한 모델을 얻는다.

실험 결과

연구 질문

• RQ1 희소 식별이 신경 ODE로 효과적으로 확장되어 비선형 역학의 설명 가능하고 구조 보존 모델링을 가능하게 할 수 있는가?
• RQ2 제안된 SINDy-NODE 프레임워크는 해밀토니안 시스템과 같은 가역 시스템의 역학을 발견하는 데 얼마나 효과적인가?
• RQ3 제너릭 또는 포트-해밀토니안 형식에 의해 지배되는 비가역 시스템에서 시스템의 구조를 정확히 식별하고 보존할 수 있는가?
• RQ4 구조 보존 형식의 통합이 특히 혼돈 시스템에서 예측 정확도와 수치적 안정성을 향상시키는가?
• RQ5 특히 수치적 부족현상과 초기화에 대한 민감성과 관련된 실용적 학습 과제는 무엇인가?

주요 결과

• 제안된 SINDy-NODE 프레임워크는 희소 회귀와 신경 ODE를 결합하여 해석 가능한 동역학을 성공적으로 학습하였으며, 지배 방정식을 식별하는 데 높은 정확도를 달성하였다.
• 해밀토니안, 제너릭, 포트-해밀토니안 등의 구조 보존 형식이 모델에 효과적으로 통합되어 에너지, 엔트로피와 같은 물리적 양의 정확한 보존을 보장하였다.
• 혼돈 시스템에 대해서도 강력한 성능을 보였으며, 표준 블랙박스 모델보다 장기적인 안정성과 정확한 예측을 유지하였다.
• 크기 기반 프루닝이 관련이 없는 기저 함수를 효과적으로 제거하여 정확도를 유지하면서도 간결하고 해석 가능한 모델을 도출하였다.
• 물리적 제약 조건을 정확히 강제함으로써, 경험적 손실 가중치가 필요 없는 전통적인 물리 기반 기계학습 접근법보다 우수한 성능을 보였다.
• 적절한 초기화와 배치 크기 조정을 통해 적응형 ODE 솔버에서 발생하는 수치적 부족현상 등의 수치적 과제를 관찰했지만, 이를 효과적으로 완화하였다.