[논문 리뷰] Automatic Differentiation to Simultaneously Identify Nonlinear Dynamics and Extract Noise Probability Distributions from Data

Kadierdan Kaheman, Steven L. Brunton외 1명|arXiv (Cornell University)|2020. 09. 12.

Time Series Analysis and Forecasting인용 수 12

한 줄 요약

이 논문은 자동 미분를 활용하여 시간 시리즈 데이터를 동시에 노이즈 제거하고, 희소 비선형 역학을 식별하며, 노이즈 확률 분포를 매개변수화하는 수정된 SINDy 알고리즘을 제안한다. 이로 인해 최대 40%의 노이즈에 강인하고, 감마 및 레일리와 같은 비정규 분포 노이즈 분포를 정확히 추출할 수 있다.

ABSTRACT

The sparse identification of nonlinear dynamics (SINDy) is a regression framework for the discovery of parsimonious dynamic models and governing equations from time-series data. As with all system identification methods, noisy measurements compromise the accuracy and robustness of the model discovery procedure. In this work, we develop a variant of the SINDy algorithm that integrates automatic differentiation and recent time-stepping constrained motivated by Rudy et al. for simultaneously (i) denoising the data, (ii) learning and parametrizing the noise probability distribution, and (iii) identifying the underlying parsimonious dynamical system responsible for generating the time-series data. Thus within an integrated optimization framework, noise can be separated from signal, resulting in an architecture that is approximately twice as robust to noise as state-of-the-art methods, handling as much as 40% noise on a given time-series signal and explicitly parametrizing the noise probability distribution. We demonstrate this approach on several numerical examples, from Lotka-Volterra models to the spatio-temporal Lorenz 96 model. Further, we show the method can identify a diversity of probability distributions including Gaussian, uniform, Gamma, and Rayleigh.

연구 동기 및 목표

• 희소 비선형 역학 식별(SINDy)에서 시간 시리즈 데이터의 노이즈로 인한 정확도 및 강인성 저하 문제를 해결하기 위해.
• 신호와 노이즈를 분리하면서도 동시에 기저의 간결한 동역학 모델을 학습하는 통합 최적화 프레임워크를 개발하기 위해.
• 측정 노이즈의 확률 분포를 명시적으로 매개변수화하기 위해, 감마 및 레일리와 같은 비정규 및 평균이 0이 아닌 분포를 포함하여.
• 특히 저자료 환경 및 고노이즈 상황에서 최신 기법을 초월하여 노이즈에 대한 강인성을 향상시키기 위해.
• 기존에 알려진 역학에 대한 사전 지식을 활용하여 누락되거나 손상된 항목을 식별할 수 있도록, 불일치 모델링과의 통합을 가능하게 하기 위해.

제안 방법

• 신호 복원을 위한 신경망 기반 접근 방식을 통해 시간 도함수 근사의 기울기를 계산하기 위해 SINDy 프레임워크에 자동 미분를 통합한다.
• 루디 등 [1]의 영감을 받은 시간 단계 제약 최적화 프레임워크를 사용하여 수치 적분(예: 룬게-쿠타)과의 일致성을 강제함으로써 노이즈 제거 및 역학 복원 성능을 향상시킨다.
• SINDy 회귀에서의 희소 계수 벡터(ξ), 신호 복원을 위한 신경망 파라미터, 노이즈 분포의 파라미터(예: 정규분포의 경우 μ, σ², 감마분포의 경우 k, θ 등)를 동시에 최적화한다.
• 비볼록인 통합 최적화 문제를 해결하기 위해 Adam 최적화기를 사용한다.
• 희소성 촉진 정규화(ℓ₀-근사)를 적용하여 모델 발견의 간결성을 확보하며, 표준 SINDy에서의 온난 시작(woarm start)을 활용할 수 있도록 설계되어 수렴 성능 향상을 도모한다.
• 제어 입력의 통합, 유리함 동역학(SINDy-PI를 통한), 그리고 큰 기반 집합을 가진 경우 안정성을 향상시키기 위한 가변 시간 간격 수치 해법을 지원하는 모듈식 확장 기능을 제공한다.

실험 결과

연구 질문

• RQ1 자연어 기반 신경망 기반 신호 복원을 통한 자동 미분를 활용하여, 단일 최적화 프레임워크 내에서 동시에 노이즈 제거, 역학 식별, 노이즈 분포 매개변수화가 가능한가?
• RQ2 특히 노이즈가 비정규 또는 평균이 0이 아닌 경우에, 수정된 SINDy 방법의 강인성은 어떠한가?
• RQ3 예를 들어 불일치 모델링 상황에서 일부 모델 정보만 제공될 경우, 이 방법은 알려진 동역학을 얼마나 정확히 복원할 수 있는가?
• RQ4 모델 정확도 및 강인성 측면에서 기존의 노이즈 제거 및 시스템 식별 기법들에 비해 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 로렌츠-96과 같은 혼돈 시스템 및 로트카-볼테라와 같은 비선형 진동자와 같은 다양한 동역학 시스템에서 이 방법의 성능은 어떠한가?

주요 결과

• 수정된 SINDy 방법은 최신 기법 대비 약 두 배 간격의 노이즈 강인성을 확보하여, 시간 시리즈 데이터에서 최대 40%의 노이즈까지 성공적으로 처리한다.
• 이 방법은 정규분포, 균일분포, 감마분포, 레일리분포 등 다양한 노이즈 분포를 정확히 식별하고 매개변수화할 수 있으며, 평균이 0이 아닌 경우에도 정확하다.
• 로트카-볼테라 시스템에서는 40%의 노이즈가 존재하는 상황에서도 진짜 동역학과 노이즈 분포 매개변수를 정확히 복원했으며, 기준값과의 편차가 최소한이었다.
• 로렌츠-96 스펙트럼-시간 모델에서는 효과적인 신호-노이즈 분리와 기저 비선형 동역학의 정확한 식별을 보였다.
• 불일치 모델링과의 통합을 통해 기존에 일부 시스템에 대한 사전 지식이 있을 경우, 누락된 동역학 항목을 복원하는 데 성공했으며, 추가된 불일치 항목이 있는 수정된 로렌츠 시스템에서 이를 입증했다.
• 표준 SINDy에서의 온난 시작을 통합할 경우, 안정성과 수렴 성능이 향상되어 실용적 확장성 향상 가능성을 시사한다.