[논문 리뷰] Discovery of Dynamics Using Linear Multistep Methods

Rachael T. Keller, Qiang Du|arXiv (Cornell University)|2019. 12. 29.

Model Reduction and Neural Networks참고 문헌 58인용 수 9

한 줄 요약

이 논문은 이산 상태 데이터로부터 동역학 시스템을 발견하는 데 선형 다단계 방법(LMMs)을 사용하기 위한 새로운 이론적 프레임워크를 제안한다. 이는 전방 통합이 아니라 역과정으로 문제를 다룬다. 새로운 일致성 및 안정성 기준을 수립하여 Adams-Bashforth(M=1–6), Adams-Moulton(M=0,1), 그리고 후방 미분 공식(BDF, 모든 M≥1)의 수렴성을 증명한다. 다른 방법들은 일반적으로 수렴하지 않으며, 비선형 진동자에 대한 수치 실험으로 뒷받질린다.

ABSTRACT

Linear multistep methods (LMMs) are popular time discretization techniques for the numerical solution of differential equations. Traditionally they are applied to solve for the state given the dynamics (the forward problem), but here we consider their application for learning the dynamics given the state (the inverse problem). This repurposing of LMMs is largely motivated by growing interest in data-driven modeling of dynamics, but the behavior and analysis of LMMs for discovery turn out to be significantly different from the well-known, existing theory for the forward problem. Assuming a highly idealized setting of being given the exact state with a zero residual of the discrete dynamics, we establish for the first time a rigorous framework based on refined notions of consistency and stability to yield convergence using LMMs for discovery. When applying these concepts to three popular $M-$step LMMs, the Adams-Bashforth, Adams-Moulton, and Backwards Differentiation Formula schemes, the new theory suggests that Adams-Bashforth for $M$ ranging from $1$ and $6$, Adams-Moulton for $M=0$ and $M=1$, and Backwards Differentiation Formula for all positive $M$ are convergent, and, otherwise, the methods are not convergent in general. In addition, we provide numerical experiments to both motivate and substantiate our theoretical analysis.

연구 동기 및 목표

• 이산 상태 데이터로부터 역동성을 발견하는 데 선형 다단계 방법(LMMs)을 사용하기 위한 엄밀한 수치 분석 프레임워크를 개발하는 것.
• 원래 전방 시간 통합을 위한 목적에서 유래된 고전적 LMM 이론을 데이터 기반 역학 발견의 맥락으로 확장하는 것.
• 정확한 상태와 이산 역학에서 잔차가 0인 이상화된 조건 하에서 어떤 LMMs가 수렴하는지 규명하는 것.
• 신경망 기반 LMMs(예: Adams-Moulton)에서 관찰된 비정상적인 행동이 시간 통합으로서의 안정성에도 불구하고 수렴하지 않는 이유를 설명하는 것.
• 향후 정규화, 부족한 데이터, 물리 기반 학습을 포함한 역학 발견 분야의 연구를 위한 기초를 마련하는 것.

제안 방법

• 이산 상태가 주어졌을 때, 시간 이산화를 이용해 기저 역학 f(x)를 추론하는 역문제에 고전적 LMM 공식을 적응 적용한다.
• 전방 문제 이론과는 다름없이, 역발견 설정에 특화된 일치성 및 안정성의 정의를 개선한다.
• 수렴성을 평가하기 위해 루트 조건과 선형 다단계 안정성 분석을 Adams-Bashforth, Adams-Moulton, 후방 미분 공식에 적용한다.
• 이론적 수렴 분석을 가능하게 하기 위해 이산 역학에 대해 잔차를 0으로 설정하여 이상화된 데이터 충실도를 모델링한다.
• 2D 감쇠 제곱형 진동자에 대한 수치 실험을 통해 이론적 예측을 검증하고 수렴 경향을 시각화한다.
• 역학 일치성, 데이터 충실도, 정규화를 포함하는 일반화된 손실 함수를 제안하며, LMM 잔차를 핵심 구성 요소로 포함한다.

실험 결과

연구 질문

• RQ1 정확한 상태와 잔차가 0인 이상화된 조건 하에서, 어떤 선형 다단계 방법이 데이터 기반 역학 발견에 대해 수렴하는가?
• RQ2 LMMs가 시간 통합 도구로 사용될 때의 고전적 안정성 및 일치성 기준이 역동성 발견의 역문제에 적용될 경우 어떻게 다를까?
• RQ3 Adams-Moulton과 같은 안정적인 LMMs가 신경망 기반 발견에서는 이론적으로 안정하더라도 수렴하지 않는 이유는 무엇인가?
• RQ4 정밀화된 일치성 및 안정성 개념을 사용하여 LMMs의 역학 발견에서의 수렴성을 엄밀히 확립할 수 있는가?
• RQ5 신경망의 표현력과 정규화는 LMM 기반 역학 발견의 안정성 또는 불안정성에 어떤 역할을 하는가?

주요 결과

• Adams-Bashforth 방법은 M=1에서 6까지의 범위에서 이론적 분석과 수치 실험으로 수렴함을 확인하였다.
• Adams-Moulton 방법은 M=0과 M=1에서만 수렴하며, 고차원 변형은 새로운 프레임워크 하에서 일반적으로 수렴하지 않는다.
• 후방 미분 공식(BDF) 방법은 모든 양의 M에 대해 수렴하여, 역문제 설정에서 강력한 안정성 및 수렴 성질을 보인다.
• 2D 감쇠 제곱형 진동자에 대한 수치 실험에서 AB 및 BDF 방법은 h 감소와 M 증가에 따라 수렴하는 오차 감소를 보였고, AM 방법은 비정상적인 행동을 보였다.
• Adams-Moulton 네트워크에서 관찰된 불안정성은 신경망 아키텍처 때문이 아니라, 이 방법이 역발견 맥락에서 본질적으로 수렴하지 않기 때문이다.
• 이 연구는 역학 발견에서의 수렴성이 LMM의 선택에 매우 민감하게 의존하며, 전방 문제에서 안정하더라도 일부 방법은 실패할 수 있음을 규명하였다.