[논문 리뷰] CINDy: Conditional gradient-based Identification of Non-linear Dynamics -- Noise-robust recovery

Alejandro Carderera, Sebastian Pokutta외 2명|arXiv (Cornell University)|2021. 01. 07.

Model Reduction and Neural Networks참고 문헌 37인용 수 7

한 줄 요약

CINDy는 잡음이 있는 데이터로부터 비선형 동역학의 희소 식별을 위한 조건부 기울기 기반 최적화 프레임워크를 제안한다. 일阶 볼록 최적화를 활용하여 뛰어난 희소성, 잡음에 대한 강건성 및 구조 보존성을 달성한다. CINDy는 SINDy, FISTA, IPM보다 더 적은 기저 함수로 진짜의 governing 방정식을 더 잘 복원하고, 잡음 하에서 일반화 성능이 향상된다.

ABSTRACT

Governing equations are essential to the study of nonlinear dynamics, often enabling the prediction of previously unseen behaviors as well as the inclusion into control strategies. The discovery of governing equations from data thus has the potential to transform data-rich fields where well-established dynamical models remain unknown. This work contributes to the recent trend in data-driven sparse identification of nonlinear dynamics of finding the best sparse fit to observational data in a large library of potential nonlinear models. We propose an efficient first-order Conditional Gradient algorithm for solving the underlying optimization problem. In comparison to the most prominent alternative algorithms, the new algorithm shows significantly improved performance on several essential issues like sparsity-induction, structure-preservation, noise robustness, and sample efficiency. We demonstrate these advantages on several dynamics from the field of synchronization, particle dynamics, and enzyme chemistry.

연구 동기 및 목표

• 비선형 동역학계에서 고차원의 잡음이 섞인 데이터로부터 희소하고 물리적으로 의미 있는 governing 방정식을 식별하는 데 도전한다.
• SINDy와 같은 기존 방법은 밀도 높은 해와 잡음 하에서의 일반화 성능 열 劣로 인해 약점이 있음을 극복한다.
• 자기적으로 희소성을 촉진하고 보존 법칙과 같은 구조적 제약 조건을 유지하는 효율적인 일阶 최적화 프레임워크를 개발한다.
• 학습 과정에 물리적 대칭성과 불변성을 통합하여, 제한된 양의 데이터에서 동역학을 강건하게 복원할 수 있도록 한다.
• 다양한 동역학계, 예를 들어 동기화, 입자 운동, 효소 동역학 등에서 궤도 예측 및 기저 함수 선택 성능을 뛰어나게 입증한다.

제안 방법

• 기저 함수의 사전(예: 최대 차수 2의 단항식)을 사용하여 후보 비선형 항을 표현하는 희소 식별 문제를 볼록 최적화 문제로 재구성한다.
• 조건부 기울기(프랭크-울프) 알고리즘을 적용하여 희소 복원 문제를 해결하며, 명시적 임계값 설정 없이도 암묵적인 희소성 편향을 활용한다.
• 선형 부등식 제약 조건을 최적화에 통합하여 물리적 일관성을 강제한다. 예를 들어 효소 동역학에서 전체 질량 보존과 같은 제약 조건.
• 차분형 및 적분형 두 가지 형태의 식별 문제를 지원하며, 도함수 추정에 고차 다항식 보간을 사용한다.
• 수렴 속도를 향상시키고 실용적 성능을 개선하기 위해 조건부 기울기 방법의 혼합형(Blended Conditional Gradients)을 사용한다.
• 비볼록 형식에 비해 계산 비용이 높거나 불안정한 문제를 피하기 위해, 희소 복원 문제의 볼록 리 릴랙세이션을 해결하여 잡음에 강건한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 희소 식별에서 일阶 조건부 기울기 방법이 임계값 기반 또는 비볼록 접근법보다 더 뛰어난 희소성과 잡음에 대한 강건성을 달성할 수 있는가?
• RQ2 보존 법칙과 대칭성과 같은 물리적 제약 조건이 최적화 프레임워크에 얼마나 효과적으로 통합될 수 있으며, 일반화 성능 향상과 표본 복잡도 감소에 기여하는가?
• RQ3 점점 증가하는 잡음 수준에서 CINDy는 SINDy, FISTA, IPM에 비해 복원 정확도, 희소성, 궤도 예측 성능 측면에서 어떻게 비교되는가?
• RQ4 조건부 기울기 방법의 암묵적 희소성 편향이 명시적 임계값 설정이나 ℓ0-정규화보다 더 정확하고 구조적으로 일관된 모델을 도출하는가?
• RQ5 복잡한 시스템, 예를 들어 효소 동역학처럼 진짜 동역학을 유지하면서도 낮은 데이터 환경에서도 높은 성능을 유지를 할 수 있는가?

주요 결과

• CINDy는 SINDy, FISTA, IPM보다 훨씬 더 희소한 해를 달성하며, 높은 잡음 수준에서 희소성 지표 𝒮_E로 측정한 바에 따르면 기저 함수 선택 수가 최대 90% 감소한다.
• 잡음 수준이 10⁻³ 이하일 경우, CINDy와 CINDy(c)는 모든 지표에서 다른 방법들을 모두 앞서며, 복원 오차(ℰ_R/η), 동역학 오차(ℰ_D/η), 궤도 오차(ℰ_T/η) 모두에서 뛰어난 성능을 보인다.
• 적분형 설정에서 최고의 잡음 수준(η = 10⁻²)에서도 CINDy와 CINDy(c)는 평균적으로 하나 이하의 올바른 기저 함수를 놓치며, 반면 SINDy와 IPM는 가용한 모든 기저 함수를 선택한다.
• Michaelis-Menten 모델에서 CINDy는 보존 법칙을 성공적으로 강제한다. 예를 들어 d/dt(x_E + x_ES) = 0 및 d/dt(x_S + x_ES + x_P) = 0을 확보하여 물리적으로 일관된 동역학을 도출한다.
• 효소 동역학 사례에서 CINDy는 η = 10⁻³에서도 진짜 동역학을 거의 완벽하게 복원했으며, 예측 궤도의 편차도 최소한이었다.
• 도함수 추정에 차수 8의 다항식 보간을 사용함으로써, 모든 잡음 수준에서 정확한 동역학 복원이 가능했으며, 도함수 근사에 의한 성능 저하 없이도 안정적인 성능 유지를 달성했다.