[논문 리뷰] DiffEqFlux.jl - A Julia Library for Neural Differential Equations

Christopher Rackauckas, Mike Innes외 4명|arXiv (Cornell University)|2019. 02. 06.

Model Reduction and Neural Networks참고 문헌 6인용 수 89

한 줄 요약

DiffEqFlux.jl은 DifferentialEquations.jl 솔버를 Flux 신경망과 결합하여 신경망에 미분방정식 계층을 내재화하고, adjoint 역전파를 통해 neural ODEs, SDEs, DDEs 등을 가능하게 한다.

ABSTRACT

DiffEqFlux.jl is a library for fusing neural networks and differential equations. In this work we describe differential equations from the viewpoint of data science and discuss the complementary nature between machine learning models and differential equations. We demonstrate the ability to incorporate DifferentialEquations.jl-defined differential equation problems into a Flux-defined neural network, and vice versa. The advantages of being able to use the entire DifferentialEquations.jl suite for this purpose is demonstrated by counter examples where simple integration strategies fail, but the sophisticated integration strategies provided by the DifferentialEquations.jl library succeed. This is followed by a demonstration of delay differential equations and stochastic differential equations inside of neural networks. We show high-level functionality for defining neural ordinary differential equations (neural networks embedded into the differential equation) and describe the extra models in the Flux model zoo which includes neural stochastic differential equations. We conclude by discussing the various adjoint methods used for backpropogation of the differential equation solvers. DiffEqFlux.jl is an important contribution to the area, as it allows the full weight of the differential equation solvers developed from decades of research in the scientific computing field to be readily applied to the challenges posed by machine learning and data science.

연구 동기 및 목표

• 데이터 사이언스에서 비선형 변환에 대한 구조를 제공하는 미분방정식의 역할과 기계 학습과의 보완적 역할을 시연한다.
• DifferentialEquations.jl 문제를 Flux 신경망에 통합하는 방법과 그 반대도 시연한다.
• 신경망 계층에 대한 강건성과 성능을 위한 전체 DifferentialEquations.jl 솔버 스위트의 이점(강 stiff, 지연, 확률성 포함)을 강조한다.
• 신경 ODEs 및 관련 모델(neural SDEs, DDEs)을 제시하고 솔버를 통한 역전파를 위한 adjoint 방법을 논의한다.

제안 방법

• 전진 패스를 사용하여 솔버 출력을 반환하는 신경망 계층으로 ODE 솔버를 임베딩하는 방법을 설명한다.
• Flux 내에서 ODE 해결을 통합하고 역전파를 통해 학습을 가능하게 하는 인터페이스인 diffeq_rd를 소개한다.
• 다른 그래디언트 방법으로 diffeq_fd(전방 모드 AD)와 diffeq_adjoint(대칭 민감도 분석)를 제시한다.
• Lotka–Volterra와 다양한 네트워크 아키텍처의 신경 ODE 레이어와 같은 예제로 신경 ODEs 및 신경 SDEs를 시연한다.
• 강건성과 성능을 위해 완전한 솔버 스위트(ODEs, SDEs, DDEs, DAEs)가 필요함을 강조하며, 강 stiff 및 non-stiff 케이스의 예를 포함한다.
• 솔버를 통한 역전파의 도전 과제와 자동 미분(ForwardDiff.jl, Zygote.jl) 및 adjoint 방법이 이를 어떻게 해결하는지 논의한다.

실험 결과

연구 질문

• RQ1 신경망과 미분방정식 솔버를 결합하여 차별화 가능하고 엔드-투-엔드로 학습 가능한 모델을 만들 수 있는 방법은 무엇인가?
• RQ2 신경망 계층에 대해 전체 DifferentialEquations.jl 솔버 스위트가 솔버 내부 구현보다 어떤 이점을 제공하는가?
• RQ3 미분방정식 솔버를 미분하는 데 가장 효율적인 그래디언트 방법(전방 모드, 역방향 모드, adjoint 민감도)은 무엇이며 매개변수 수가 증가하면 어떻게 확장되는가?
• RQ4 신경 ODEs, SDEs, DDEs가 표준 딥러닝 파이프라인 내에서 GPU 배치를 포함해 실제로 학습될 수 있는가?
• RQ5 다양한 방정식 유형(ODEs, DDEs, SDEs)이 학습 안정성 및 외삽성 측면에서 신경망 계층으로서 어떻게 작동하는가?

주요 결과

• DiffEqFlux.jl은 전체 DifferentialEquations.jl 솔버 스위트를 신경망 계층으로 임베딩할 수 있게 하여 ODEs, SDEs, DDEs, 강한(stiff) 방정식 및 adjoint 기반 학습이 가능하게 한다.
• 프레임워크는 솔버를 통해 역전파하는 데 최소 코드 변경으로 여러 그래디언트 경로(diffeq_rd, diffeq_fd, 및 diffeq_adjoint)를 지원한다.
• 신경 ODE 레이어는 초기 조건과 네트워크를 GPU에 두고 ODE 솔버가 GPU에서 작동하도록 하여 구현 및 GPU 가속이 가능하다.
• 강한 문제에서 간단한 적분 전략이 실패하는 경우에도 전체 솔버 스위트가 강건함을 개선하며, 강 stiff 및 non-stiff 예시(예: ROBER, stiff 케이스)로 입증된다.
• 자동 미분(ForwardDiff, ReverseDiff)과 곧 출시될 소스-투-소스 AD(Zygote)가 솔버 매개변수에 대한 그래디언트를 최적화하고 확장 가능한 학습을 가능하게 한다.