[논문 리뷰] A Robust SINDy Approach by Combining Neural Networks and an Integral Form

Ali Forootani, Pawan Goyal외 1명|arXiv (Cornell University)|2023. 09. 13.

Control Systems and Identification인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망을 이용한 노이즈 제거 및 자동 미분를 통한 도함수 추정과 적분형 미분 방정식을 결합하여, 노이즈가 많고 자료가 부족한 데이터로부터 비선형 동역학계의 지배 방정식을 안정적으로 발견하는 iNeural-SINDy라는 강력한 방법을 제안한다. 이 방법은 DeePyMoD 및 Weak-SINDy와 같은 기존 방법들보다 뛰어나며, 특히 높은 노이즈와 낮은 데이터 환경에서 두각을 나타낸다.

ABSTRACT

The discovery of governing equations from data has been an active field of research for decades. One widely used methodology for this purpose is sparse regression for nonlinear dynamics, known as SINDy. Despite several attempts, noisy and scarce data still pose a severe challenge to the success of the SINDy approach. In this work, we discuss a robust method to discover nonlinear governing equations from noisy and scarce data. To do this, we make use of neural networks to learn an implicit representation based on measurement data so that not only it produces the output in the vicinity of the measurements but also the time-evolution of output can be described by a dynamical system. Additionally, we learn such a dynamic system in the spirit of the SINDy framework. Leveraging the implicit representation using neural networks, we obtain the derivative information -- required for SINDy -- using an automatic differentiation tool. To enhance the robustness of our methodology, we further incorporate an integral condition on the output of the implicit networks. Furthermore, we extend our methodology to handle data collected from multiple initial conditions. We demonstrate the efficiency of the proposed methodology to discover governing equations under noisy and scarce data regimes by means of several examples and compare its performance with existing methods.

연구 동기 및 목표

• 비선형 동역학계에서 시간에 따른 시리즈 데이터의 정확한 지배 방정식을 노이즈가 많고 자료가 적은 상황에서 발견하는 데 도전한다.
• 낮은 신호 대 노이즈 비율 환경에서 전통적인 SINDy 방법이 도함수 추정 오차에 민감한 문제를 해결한다.
• 깊이 있는 신경망을 활용하여 청소된 동역학을 암묵적으로 표현하고, 강건한 희소 회귀를 가능하게 하는 데이터 기반 프레임워크를 개발한다.
• 더 풍부한 동역학계 식별을 위해 다양한 초기 조건에서의 데이터를 처리할 수 있도록 방법론을 확장한다.
• 노이즈가 많은 도함수에 대한 의존도를 줄이기 위해 미분 방정식의 적분형을 통합하여 강건성을 향상시킨다.

제안 방법

• 관측된 데이터의 암묵적이고 노이즈 제거된 표현을 학습하기 위해 깊이 있는 신경망(DNN)을 훈련시켜 부드럽고 정확한 시계열 재구성을 가능하게 한다.
• 원시적인 노이즈가 많은 데이터의 수치적 미분에 의존하지 않고, 훈련된 DNN에 자동 미분을 적용하여 도함수 추정치를 산출한다.
• DNN를 통한 도함수 추정치와 비선형 기저 함수의 큰 사전을 사용하여 SINDy 프레임워크 내에서 희소 식별 문제를 설정한다.
• 희소 회귀 과정의 안정성을 높이고 노이즈에 대한 민감도를 낮추기 위해 지배 방정식의 적분형을 통합한다.
• 다양한 초기 조건에서 수집된 데이터를 함께 훈련시켜 다중 궤적 학습을 가능하게 한다.
• 데이터 적합성과 적분 제약 조건 간 손실 항을 균형 잡기 위해 스케일링 인자 α를 도입하여 최적화 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망 기반의 암묵적 표현은 고노이즈 및 자료 부족 상황에서 SINDy의 강건성을 향상시키는가?
• RQ2 미분 방정식의 적분형을 통합함으로써 표준 SINDy와 비교해 지배 방정식 발견의 정확성과 안정성이 얼마나 향상되는가?
• RQ3 노이즈가 많고 자료가 적은 조건에서 제안된 iNeural-SINDy 방법이 최신 기술인 DeePyMoD 및 Weak-SINDy를 얼마나 뛰어나게 성능을 내는가?
• RQ4 스케일링 인자 α의 선택이 다양한 노이즈 수준과 자료 희소성에서 본 방법의 성능에 어떻게 영향을 미치는가?
• RQ5 이 프레임워크는 다양한 초기 조건을 가진 다수의 궤적에서 지배 방정식을 효과적으로 학습할 수 있는가?

주요 결과

• Lorenz 시스템에서 Scene_A 및 Scene_B 설정 모두에서 iNeural-SINDy는 다양한 노이즈 수준과 표본 크기에서 DeePyMoD를 일관되게 능가한다.
• 높은 노이즈 수준(σ = 0.1)에서 iNeural-SINDy는 Weak-SINDy보다 진짜 지배 방정식을 훨씬 더 잘 복원하여 뛰어난 강건성을 입증한다.
• 신경망 기반 도함수 추정과 적분형의 조합은 도함수 추정이 신뢰할 수 없을 때 노이즈에 대한 민감도를 줄여준다.
• 낮은 데이터 밀도 상황에서도 iNeural-SINDy는 높은 정확도를 유지하여 희소 측정 조건에서도 강력한 일반화 능력을 보여준다.
• 스케일링 인자 α는 미묘한 영향을 미치며, 깊은 네트워크에서는 α = 0.1이 성능 향상에 기여하는 경향이 있어 손실 곡면 최적화에서 역할을 할 수 있음을 시사한다.
• 이 방법은 초기 조건이 다른 다수의 궤적에서 지배 방정식을 성공적으로 식별하여, 시스템의 구조에 대한 사전 지식 없이도 전체 동역학을 발견할 수 있다.