[논문 리뷰] Reconstruction of Ordinary Differential Equations From Time Series Data

Maxim Mai, Mark D. Shattuck외 1명|arXiv (Cornell University)|2016. 05. 18.

Model Reduction and Neural Networks참고 문헌 43인용 수 5

한 줄 요약

이 논문은 희소 기저 학습과 희소 함수 재구성 기법을 사용하여 시계열 데이터에서 상미분방정식(OED) 시스템을 재구성하는 기계학습 기반 방법을 제시한다. 이 방법은 최소제곱 방법보다 더 높은 정확도를 달성하며, 충분한 데이터를 사용할 경우 1차원, 2차원, 3차원 ODE 시스템—특히 혼돈적인 로렌츠 역학을 포함—에서 오차가 0.1% 이하로 유지되며, 궤도가 분리되어도 리아프노프 지수와 같은 주요 역학적 특성을 유지한다.

ABSTRACT

We develop a numerical method to reconstruct systems of ordinary differential equations (ODEs) from time series data without {\it a priori} knowledge of the underlying ODEs using sparse basis learning and sparse function reconstruction. We show that employing sparse representations provides more accurate ODE reconstruction compared to least-squares reconstruction techniques for a given amount of time series data. We test and validate the ODE reconstruction method on known 1D, 2D, and 3D systems of ODEs. The 1D system possesses two stable fixed points; the 2D system possesses an oscillatory fixed point with closed orbits; and the 3D system displays chaotic dynamics on a strange attractor. We determine the amount of data required to achieve an error in the reconstructed functions to less than $0.1\%$. For the reconstructed 1D and 2D systems, we are able to match the trajectories from the original ODEs even at long times. For the 3D system with chaotic dynamics, as expected, the trajectories from the original and reconstructed systems do not match at long times, but the reconstructed and original models possess similar Lyapunov exponents. Now that we have validated this ODE reconstruction method on known models, it can be employed in future studies to identify new systems of ODEs using time series data from deterministic systems for which there is no currently known ODE model.

연구 동기 및 목표

• 기본 방정식에 대한 사전 지식 없이 데이터 기반으로 ODE 시스템을 재구성하는 방법을 개발하기 위해.
• 시스템 역학의 희소 표현을 활용하여 전통적인 최소제곱 방법보다 재구성 정확도를 향상시키기 위해.
• 고정점, 한계 순환, 혼돈을 포함한 다양한 역학을 보이는 알려진 1차원, 2차원, 3차원 ODE 시스템에 대해 방법을 검증하기 위해.
• 고정밀 재구성 달성을 위한 데이터 요구 조건(샘플링 간격, 궤도 길이, 궤도 수)을 규명하기 위해.
• 미래에 물리적·생물학적 시스템에서 실험적 시계열 데이터로부터 알려지지 않은 ODE 모델을 발견할 수 있도록 하기 위해.

제안 방법

• 이 방법은 시계열 데이터를 희소하게 표현할 수 있는 기저를 식별하기 위해 희소 사전 학습을 활용한다.
• L1-노름 정규화된 회귀를 사용하여 학습된 기저에서 데이터의 가장 희소한 전개를 찾으며, 비영계수의 수를 최소화한다.
• 재구성된 ODE 함수는 데이터에서 유도된 기저 함수의 희소 조합으로 표현되며, 이는 진짜 역학을 정확하게 근사할 수 있도록 한다.
• 희소 코딩 기법을 사용하여 과소결정된 연립방정식을 풀어 벡터장 f₁, f₂, f₃를 재구성한다.
• 재구성된 ODE의 궤도를 원래 시스템의 궤도와 비교하여 재구성 과정을 검증한다.
• 정확도와 내구성을 평가하기 위해 다양한 양의 데이터, 샘플링 간격, 궤도 길이에서 방법을 시험한다.

실험 결과

연구 질문

• RQ1 희소 표현 기법은 최소제곱 방법보다 시계열 데이터에서 ODE를 더 정확하게 재구성할 수 있는가?
• RQ2 재구성 오차를 0.1% 이하로 낮추기 위해 필요한 최소한의 시계열 데이터는 얼마인가?
• RQ3 재구성된 ODE는 장기적인 원래 시스템의 역학을 얼마나 잘 재현하는가, 특히 혼돈 영역에서는 어떻게 되는가?
• RQ4 궤도가 분리되어도 재구성된 시스템이 리아프노프 지수와 같은 주요 역학적 불변량을 유지할 수 있는가?
• RQ5 이 방법은 고정점, 한계 순환, 이상한 길이를 포함한 복잡한 역학을 보이는 시스템을 어느 정도 정확하게 재구성할 수 있는가?

주요 결과

• 충분한 시계열 데이터를 사용할 경우 이 방법은 재구성 오차가 0.1% 이하로 유지되어 ODE 시스템 재구성의 높은 정확도를 입증한다.
• 두 개의 안정 고정점을 가진 1차원 시스템의 경우, 재구성된 ODE는 장기간에 걸쳐 원래 궤도를 정확히 재현한다.
• 2차원 로트카-볼테라 시스템의 경우, 재구성된 ODE는 닫힌 궤도를 생성하지만, 일부 초기 조건에서는 더 긴 궤도와 더 작은 샘플링 간격이 정확도 향상에 기여한다.
• 3차원 혼돈 로렌츠 시스템의 경우, 초기 조건에 대한 민감성으로 인해 장기간에 걸쳐 궤도가 분리되지만, 재구성된 시스템과 원래 시스템은 유사한 리아프노프 지수를 공유한다.
• 동일한 데이터량에서 최소제곱 방법에 비해 희소 표현의 사용이 재구성 정확도를 크게 향상시킨다.
• 이 방법은 실험적 시계열 데이터로부터 알려지지 않은 ODE 모델을 발견할 수 있게 하며, 특히 현재 분석 모델이 없는 시스템에서 특히 유용하다.