[논문 리뷰] Inverse modified differential equations for discovery of dynamics

Aiqing Zhu, Pengzhan Jin외 2명|arXiv (Cornell University)|2020. 09. 02.

Model Reduction and Neural Networks참고 문헌 60인용 수 6

한 줄 요약

이 논문은 ODE-net을 사용한 데이터 기반 동역계 시스템 발견의 거동과 오차를 엄밀히 분석하기 위해 역 수정 미분방정식(IMDE)을 도입한다. 학습된 신경망 벡터장이 변형된 시스템의 근사값으로 간주될 때, 저자들은 학습된 동역계와 진짜 동역계 간의 차이가 이산적 통합 오차와 학습 손실의 합으로 유계임을 증명하며, 형식적 IMDE 급수의 잘라내기를 통해 이 오차의 이격을 지수보다 작은 속도로 줄일 수 있음을 보여준다.

ABSTRACT

The combination of numerical integration and deep learning, i.e., ODE-net, has been successfully employed in a variety of applications. In this work, we introduce inverse modified differential equations (IMDE) to contribute to the behaviour and error analysis of discovery of dynamics using ODE-net. It is shown that the difference between the learned ODE and the truncated IMDE is bounded by the sum of learning loss and a discrepancy which can be made sub exponentially small. In addition, we deduce that the total error of ODE-net is bounded by the sum of discrete error and learning loss. Furthermore, with the help of IMDE, theoretical results on learning Hamiltonian system are derived. Several experiments are performed to numerically verify our theoretical results.

연구 동기 및 목표

• ODE-net을 사용한 데이터 기반 동역계 시스템 발견의 거동과 오차를 엄밀히 분석하기 위한 이론적 프레임워크를 제공하는 것.
• 기존의 ODE-net 및 LMNet, HNN와 같은 유사 아키텍처에서의 공식적 수렴성 및 안정성 분석의 부족을 보완하는 것.
• ODE-net에서 학습된 벡터장이 변형된 시스템(IMDE)을 근사함을 입증하여 정밀한 오차 추정이 가능하도록 하는 것.
• 해밀턴 시스템에서 심플렉틱 적분법이 IMDE에서 구조를 유지하는 반면, 비심플렉틱 적분법은 그렇지 않음을 보여주는 것.
• 학습된 동역계와 진짜 동역계 간의 오차에 대해 정량적 유계를 도출하며, 이는 이산 오차와 학습 손실 성분으로 분리된다.

제안 방법

• 기존의 수정 미분방정식 접근 방식의 반대 방식으로, ODE를 수치적 해와 일치시키기 위해 변형하는 대신, 훈련된 ODE-net이 근사하는 변형된 시스템을 식별함으로써 역 수정 미분방정식(IMDE)을 도입한다.
• 형식적 급수 전개를 사용하여 일반적인 일차 방법 및 선형 다단계 적분법에 대해 IMDE를 유도하며, 룬게쿠타 방법의 조합이 기본 방법과 동일한 IMDE를 갖는다는 것을 보여준다.
• 해석성 가정 하에 형식적 IMDE 급수의 잘라내기 이론을 적용하여, 나머지 항이 단계 크기 $ h $ 에 대해 지수보다 작은 속도로 줄어들도록 증명한다.
• IMDE 프레임워크를 활용하여 ODE-net의 총 오차를 이산 오차($ Ch^p $)와 학습 손실로 분해하며, 양자 모두에 대해 명시적 유계를 제공한다.
• IMDE를 활용해 해밀턴 시스템을 분석하여, 심플렉틱 적분법은 IMDE에서 해밀턴ian 구조를 유지하지만 비심플렉틱 적분법은 그렇지 않음을 보여준다.
• 선형 다단계 방법(LMNet)에 대해 IMDE의 재귀 공식을 수립하여 이들의 근사 성질에 대한 이론적 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 ODE-net 훈련 중에 진짜 목표는 무엇이며, 이는 기저의 진짜 동역계와 어떻게 관련되어 있는가?
• RQ2 ODE-net 기반의 동역계 발견 오차는 어떻게 엄밀히 분해되고 유계화될 수 있는가?
• RQ3 IMDE 프레임워크는 왜 일부 적분법이 해밀턴 시스템에서 보존 법칙을 유지하지 못하는지 설명할 수 있는가?
• RQ4 형식적 IMDE 급수의 잘라내기를 통해 학습된 벡터장과 진짜 벡터장 간의 이격을 어느 정도 통제할 수 있는가?
• RQ5 해밀턴 시스템에서 심플렉틱 적분법을 사용할 경우, IMDE 프레임워크에서 더 구조적으로 일관된 근사가 이루어지는가?

주요 결과

• 학습된 ODE-net 벡터장 $ f_{\text{net}} $ 과 잘라낸 IMDE $ f_h^N $ 간의 차이는 학습 손실과 단계 크기 $ h $ 에 대해 지수보다 작은 속도로 줄어드는 이격 항의 합으로 유계이다.
• 학습된 동역계 $ f_{\text{net}} $ 와 진짜 벡터장 $ f $ 간의 총 오차는 $ c_2 h^p + C \mathcal{L} $ 로 유계이며, 여기서 $ h^p $ 는 수치 적분기의 이산 오차이고 $ \mathcal{L} $ 은 학습 손실이다.
• 비심플렉틱 적분법을 사용할 경우, ODE-net과 LMNet은 보존 법칙을 학습하지 못하며, 이는 IMDE가 기저의 구조를 유지하지 않기 때문이다.
• 해밀턴 시스템에서 심플렉틱 적분법을 사용할 경우, IMDE는 여전히 해밀턴ian이며, 그러한 적분법을 사용하는 HNN는 거의 확실한 근사 목표를 갖는다.
• 형식적 IMDE 급수의 잘라내기는 $ c_1 e^{-\gamma / h^{1/q}} $ 의 형태를 가진 오차 유계를 유도하며, 이는 $ h $ 에 대해 어떤 다항식보다도 더 빠르게 감쇠한다.
• IMDE를 통한 오차 분석 프레임워크는 ODE 기반 모델에서 수치적 통합과 딥러닝 간의 상호작용을 통합적으로 정량화하는 데 기여한다.