[논문 리뷰] The Discovery of Dynamics via Linear Multistep Methods and Deep Learning: Error Estimation

Qiang Du, Yiqi Gu외 2명|arXiv (Cornell University)|2021. 03. 21.

Model Reduction and Neural Networks참고 문헌 54인용 수 4

한 줄 요약

이 논문은 동역학 시스템을 복구하기 위해 딥 러닝 기반 선형 다단계 방법(LMM)에 대한 엄밀한 수렴 분석을 제시한다. ℓ² 격자 오차가 시간 간격 h와 국소 절단 순서 p에 대해 O(h^p)에 비례하며, 신경망 근사 오차에 의해 영향을 받는다는 것을 입증한다. 루엔츠 방정식과 같은 시스템에서의 수치 실험을 통해 고차 정확도를 검증한다.

ABSTRACT

Identifying hidden dynamics from observed data is a significant and challenging task in a wide range of applications. Recently, the combination of linear multistep methods (LMMs) and deep learning has been successfully employed to discover dynamics, whereas a complete convergence analysis of this approach is still under development. In this work, we consider the deep network-based LMMs for the discovery of dynamics. We put forward error estimates for these methods using the approximation property of deep networks. It indicates, for certain families of LMMs, that the $\ell^2$ grid error is bounded by the sum of $O(h^p)$ and the network approximation error, where $h$ is the time step size and $p$ is the local truncation error order. Numerical results of several physically relevant examples are provided to demonstrate our theory.

연구 동기 및 목표

• 데이터 기반 동역학 시스템 복구에 있어 딥 네트워크 기반 선형 다단계 방법(LMM)에 대한 이론적 수렴 프레임워크를 개발하는 것.
• 시간 간격 h와 신경망 근사 오차에 따라 ℓ² 격자 오차를 정량화하는 것.
• LMM 행렬의 조건수(condition number)가 h → 0일 때 일관되게 유계로 유지되는 조건을 규명하는 것.
• 기본 동역학 시스템에서의 수치 실험을 통해 이론적 오차 추정치를 검증하는 것.
• LMM 수식에서 보조 조건이 생략되었을 때 딥 러닝의 암묵적 정규화(implicit regularization)의 역할을 탐색하는 것.

제안 방법

• LMM 이산화에서 발생하는 잔차 오차의 최소제곱 최소화 문제로 역학적 동역학의 복구를 수식화한다.
• 알려지지 않은 벡터장의 근사치로 깊이 신경망을 사용한다.
• 딥 네트워크의 근사 성질과 LMM 스킴의 안정성에 기반해 오차 한계를 도출한다.
• 시스템 행렬 A_h의 2노름 조건수를 분석하여 h에 관계없이 일관되게 유계로 유지되는지 확인한다.
• LMM의 루트 조건(root condition)을 적용하여 안정성과 조건수의 유계성을 보장한다.
• A-B 및 BDF 스킴을 사용한 수치 실험을 통해 이론적 수렴 속도를 검증한다.

실험 결과

연구 질문

• RQ1 시간 간격 h에 대해 딥 네트워크 기반 LMM의 동역학 시스템 복구 수렴 속도는 어떻게 되는가?
• RQ2 신경망 근사 오차와 LMM의 국소 절단 오차가 전체 ℓ² 격자 오차에 어떻게 영향을 미치는가?
• RQ3 h → 0일 때 LMM 시스템 행렬의 조건수가 일관되게 유계로 유지되는 조건은 무엇인가?
• RQ4 LMM 기반 복구에서 보조 조건이 생략되었을 때, 경사 하강법을 사용한 딥 러닝이 여전히 정확한 해를 도출할 수 있는가?
• RQ5 실제 동역학 시스템(예: 루엔츠 시스템)에서 이론적 오차 한계와 실증 성능 간의 비교는 어떻게 이루어지는가?

주요 결과

• 학습된 동역학의 ℓ² 격자 오차는 O(κ₂(A_h)(h^p + e_𝒜))로 유계로 표현되며, 여기서 p는 국소 절단 순서이고 e_𝒜는 신경망 근사 오차이다.
• 안정적인 LMM에 대해, h → 0일 때 조건수 κ₂(A_h)는 일관되게 유계로 유지되어 수치적 안정성을 보장한다.
• 수치 결과는 A-B 및 BDF 스킴에 대해 여러 테스트 케이스에서 이론적 O(h^p) 수렴 속도에 근접한 수렴 속도를 확인한다.
• 2차원 테스트 문제에서 영역 Ω 전반에 걸쳐 오차가 O(10⁻³) 이하로 유지되어 학습된 네트워크의 높은 정확도를 나타낸다.
• 보조 조건이 없더라도 경사 하강법과 깊이 신경망이 안정적인 스킴과 유사한 오차 수준을 달성함으로써 강력한 암묵적 정규화가 작용함을 시사한다.
• 표본 격점 외부의 일반화 오차는 이론적으로는 무한대가 될 수 있으나, 수치 결과에서는 뛰어난 외삽 성능을 보였다.