[논문 리뷰] On Neural Differential Equations

Patrick Kidger|arXiv (Cornell University)|2022. 02. 04.

Computational Physics and Python Applications인용 수 120

한 줄 요약

포괄적인 박사 학위 논문으로 신경 미분방정식(NDEs)을 조사하며, 신경 질의ODEs, 신경 CDEs, 신경 SDEs를 포함하고 이론, 구조, 수치 방법 및 응용을 다룹니다.

ABSTRACT

The conjoining of dynamical systems and deep learning has become a topic of great interest. In particular, neural differential equations (NDEs) demonstrate that neural networks and differential equation are two sides of the same coin. Traditional parameterised differential equations are a special case. Many popular neural network architectures, such as residual networks and recurrent networks, are discretisations. NDEs are suitable for tackling generative problems, dynamical systems, and time series (particularly in physics, finance, ...) and are thus of interest to both modern machine learning and traditional mathematical modelling. NDEs offer high-capacity function approximation, strong priors on model space, the ability to handle irregular data, memory efficiency, and a wealth of available theory on both sides. This doctoral thesis provides an in-depth survey of the field. Topics include: neural ordinary differential equations (e.g. for hybrid neural/mechanistic modelling of physical systems); neural controlled differential equations (e.g. for learning functions of irregular time series); and neural stochastic differential equations (e.g. to produce generative models capable of representing complex stochastic dynamics, or sampling from complex high-dimensional distributions). Further topics include: numerical methods for NDEs (e.g. reversible differential equations solvers, backpropagation through differential equations, Brownian reconstruction); symbolic regression for dynamical systems (e.g. via regularised evolution); and deep implicit models (e.g. deep equilibrium models, differentiable optimisation). We anticipate this thesis will be of interest to anyone interested in the marriage of deep learning with dynamical systems, and hope it will provide a useful reference for the current state of the art.

연구 동기 및 목표

• 신경 미분방정식과 다이나믹스 시스템을 딥러닝과 결합하는 데 있어 심층적인 연구조사를 제공한다.
• 신경 ODEs, 신경 CDEs, 신경 SDEs를 설명하고, 구성, 이점 및 일반적인 아키텍처를 포함한다.
• 수치 방법, 미분방정식에 대한 역전파 및 관련 암시적 모델들을 조사한다.
• 시계열, 물리 모델링 및 생성 모델링에 대한 실용적 도구를 갖춘 응용을 논의한다.
• NDE 분야의 한계와 향후 방향을 강조한다.

제안 방법

• 신경 미분방정식을 벡터장 fθ에서 신경망에 의해 매개변수화된 미분방정식으로 정의한다.
• 핵심 모델로서 신경 ODEs, 신경 CDEs, 신경 SDEs를 제시하고 그 존재성, 학습 및 평가를 논의한다.
• 신경 ODEs 및 CDEs에 대한 증강, 자가 비자율성 및 보간 전략을 설명한다.
• 수치 해법, ODES/CDEs/SDEs에 대한 역전파, 가역 해법 및 초해법자를 다루고,
• 증강 모델과 비증강 모델의 보편 근사성 결과 및 CDEs의 불변성을 논의한다.
• 실용적인 소프트웨어 도구(예: Diffrax, torchdiffeq, torchcde, torchsde)와 실험 설정을 개괄한다.

실험 결과

연구 질문

• RQ1 전통적인 모델에 비해 신경 미분방정식의 이론적 및 실용적 이점은 무엇인가?
• RQ2 신경 ODEs, 신경 CDEs, 신경 SDEs는 형식화, 학습 및 응용에서 어떻게 다른가?
• RQ3 NDE를 학습시키는 데 어떤 수치 방법과 역전파 전략이 효과적인가?
• RQ4 NDE의 데이터 요건과 속도 측면에서의 한계와 트레이드오프는 무엇인가?

주요 결과

• NDEs는 신경망과 미분방정식 모델링을 통합하여 연속 깊이 아키텍처와 불규칙한 데이터 처리 능력을 가능하게 한다.
• 증강된 신경 ODEs는 기본 벡터장이 보편 근사기를 이루지 않더라도 보편 근사를 달성한다.
• 신경 CDEs는 불규칙한 시계열에 대한 보편 근사를 제공하고 RNN의 이산화와 관련이 있다.
• 신경 SDEs는 생성 모델링 및 복잡한 확률적 동역학의 샘플링을 가능하게 하며, GAN 기반 및 잠재 SDEs와 같은 다양한 학습 기준이 있다.
• NDE의 효율적이고 정확한 그래디언트는 최적화된 역전파 전략 및 가역 해법자를 통해 달성될 수 있다.