[논문 리뷰] On Numerical Integration in Neural Ordinary Differential Equations

Aiqing Zhu, Pengzhan Jin외 2명|arXiv (Cornell University)|2022. 06. 15.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 수치적 적분이 신경미분방정식(Neural ODEs)에 미치는 영향을 이론적으로 분석하기 위해 역수 수정 미분방정식(IMDE)을 도입한다. 학습 과정이 진짜 ODE가 아니라 IMDE를 근사한다는 것을 보여줌으로써, 저자들은 모델 오차가 이산화 오차와 학습 손실에 의해 유계임을 증명하고, 비심플렉틱적 해법이 보존 법칙을 학습하지 못함을 보이며, 실험을 통해 이러한 이론적 결과를 검증한다.

ABSTRACT

The combination of ordinary differential equations and neural networks, i.e., neural ordinary differential equations (Neural ODE), has been widely studied from various angles. However, deciphering the numerical integration in Neural ODE is still an open challenge, as many researches demonstrated that numerical integration significantly affects the performance of the model. In this paper, we propose the inverse modified differential equations (IMDE) to clarify the influence of numerical integration on training Neural ODE models. IMDE is determined by the learning task and the employed ODE solver. It is shown that training a Neural ODE model actually returns a close approximation of the IMDE, rather than the true ODE. With the help of IMDE, we deduce that (i) the discrepancy between the learned model and the true ODE is bounded by the sum of discretization error and learning loss; (ii) Neural ODE using non-symplectic numerical integration fail to learn conservation laws theoretically. Several experiments are performed to numerically verify our theoretical analysis.

연구 동기 및 목표

• 수치적 적분이 Neural ODE 성능에 미치는 영향을 이론적으로 명확히 하여, 실험적 관찰에 비해 성능 저하가 발생하는 이유를 밝히는 것.
• 수치적 해법으로 인해 학습된 Neural ODE와 진짜 기저 ODE 사이의 차이를 체계적으로 기술하는 것.
• 역수 수정 미분방정식(IMDE)을 사용하여 Neural ODE가 학습하는 효과적 동역학을 특성화하는 엄밀한 수학적 프레임워크를 구축하는 것.
• 비심플렉틱적 통합기로 인해 Neural ODE가 보존 법칙을 학습할 수 없음을 증명하고, 관찰된 실패의 이론적 설명을 제공하는 것.
• 표준 동역학계(예: 진자, 감쇠 진동자, 로렌츠 시스템)에서의 수치 실험을 통해 이론적 주장의 타당성을 검증하는 것.

제안 방법

• 주어진 통합기 하에서 진짜 ODE의 수치적 해와 정확히 일치하는 해를 가지는 편향된 ODE로서 역수 수정 미분방정식(IMDE)을 제안한다.
• 형식적 분석을 통해 IMDE를 유도하여, 학습된 Neural ODE 모델이 학습 손실과 이산화 오차를 포함한 유계 내에서 IMDE를 근사함을 보인다.
• 수정된 방정식의 방법을 적용하여 IMDE의 구조를 분석하고, 특히 심플렉틱성과 보존 법칙에 초점을 맞춘다.
• 수치적 통합기가 심플렉틱적이지 않다면, 그로부터 유도된 IMDE는 해밀토니안 구조를 유지할 수 없으며, 이로 인해 보존 법칙 학습에 실패함을 보인다.
• 고차수 룬게-쿠타 해법(RK4 등)을 시험용 해법으로 사용하여, 다양한 통합기와 스텝 크기에서 궤적과 오차를 비교한다.
• 두 개의 128개 유닛을 가진 은닉층과 tanh 활성화 함수를 사용한 완전히 연결된 신경망을 학습하여 벡터장 학습을 수행하고, 궤적 쌍 간의 평균제곱오차를 최소화한다.

실험 결과

연구 질문

• RQ1 수치적 적분은 Neural ODE의 진짜 ODE 동역학을 어떻게 왜곡하며, 학습되는 효과적 방정식은 무엇인가?
• RQ2 학습된 모델과 진짜 ODE 사이의 차이가 이산화 오차와 학습 오차의 합으로 얼마나 유계로 제한되는가?
• RQ3 왜 비심플렉틱적 통합기가 Neural ODE에서 보존 법칙을 학습하지 못하는가? 이는 이론적으로 증명될 수 있는가?
• RQ4 역수 수정 미분방정식(IMDE)은 Neural ODE가 학습하는 효과적 동역학을 정확하게 특성화할 수 있는가?
• RQ5 다양한 수치적 해법과 스텝 크기는 학습된 Neural ODE의 정확도와 보존 성질에 어떤 영향을 미치는가?

주요 결과

• 학습된 Neural ODE 모델은 IMDE에 매우 가까운 근사값을 가지며, 그 차이는 학습 손실과 지수적으로 감소하는 비소수 오차의 합으로 유계이다.
• 학습된 모델과 진짜 ODE 사이의 오차는 이산화 오차 $ Ch^p $ 와 학습 손실의 합으로 유계이며, 여기서 $ h $ 는 스텝 크기이고 $ p $ 는 통합기의 차수이다.
• 비심플렉틱적 통합기를 사용하는 Neural ODE는 보존 법칙을 학습할 수 없으며, 이러한 해법으로부터 유도된 IMDE는 해밀토니안 시스템에 필요한 심플렉틱 구조를 유지하지 못한다.
• 진자, 감쇠 진동자, 로렌츠 시스템에 대한 수치 실험을 통해 IMDE가 효과적 동역학과 스텝 크기의 오차 스케일링을 정확히 예측함을 확인하였다.
• 스텝 크기 $ h $ 에 따른 오차 스케일링은 예상되는 순서 $ O(h^p) $ 를 따르며, 수렴 차수는 $ \log_2(\text{Error}(2h)/\text{Error}(h)) $ 를 통해 확인되었고, 이는 이론적 예측과 일치한다.
• 비심플렉틱적 해법으로 학습된 모델이 생성하는 궤적은 장시간에 걸쳐 진짜 궤적에서 크게 벗어나며, 이는 이론적 제약을 확인한다.