[논문 리뷰] Neural Ordinary Differential Equations

Ricky T. Q. Chen, Yulia Rubanova외 2명|arXiv (Cornell University)|2018. 06. 19.

Model Reduction and Neural Networks참고 문헌 55인용 수 566

한 줄 요약

이 논문은 Neural ODEs를 도입하여 이산적 층을 신경 벡터 필드에 의해 정의된 연속 시간 역학으로 대체하고, black-box ODE 해석기를 통한 adjoint 민감도 학습으로 상수 메모리 역전파와 유연한 계산을 가능하게 한다. 또한 연속 정규화 흐름과 ODE를 기반으로 한 잠재 시계열 모델을 제시한다.

ABSTRACT

We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differential equation solver. These continuous-depth models have constant memory cost, adapt their evaluation strategy to each input, and can explicitly trade numerical precision for speed. We demonstrate these properties in continuous-depth residual networks and continuous-time latent variable models. We also construct continuous normalizing flows, a generative model that can train by maximum likelihood, without partitioning or ordering the data dimensions. For training, we show how to scalably backpropagate through any ODE solver, without access to its internal operations. This allows end-to-end training of ODEs within larger models.

연구 동기 및 목표

• 연속 시간 역학으로의 깊이를 대체하여 메모리 효율성과 적응성을 개선하려는 동기를 제시한다.
• 해석기 내부에 접근하지 않고도 ODE 해석기를 통한 역전파를 가능하게 하는 adjoint sensitivty를 이용한 학습을 제안한다.
• 연속 정규화 흐름(CNF)을 통해 확장 가능하고 가능성 기반 밀도 추정을 위한 연속 시간의 흐름을 구현한다.
• 불규칙한 시계열 데이터를 위한 연속 시간의 잠재 ODE 모델을 도입한다.
• 감독 학습, 밀도 추정 및 시계열 모델링에서의 실용적 이점을 보여준다.

제안 방법

• 은닉 상태 역학을 dh/dt = f(h, t, θ)로 정의하는 신경망 f(h(t), t, θ)로 매개화한다.
• 결과로 얻은 초기값 문제를 블랙박스 ODE 해석기로 풀어 h(T)를 얻는다.
• 역전파를 위해 adjoint sensitivity 방법을 사용하여 시간 역방향으로 보강된 ODE를 풀어 θ에 대한 기울기를 얻는다.
• 연속 변환 하에서의 로그 밀도에 대한 즉시적 변화식을 도출하여 연속 정규화 흐름(CNF)을 가능하게 한다.
• 밀도 추정 및 샘플 생성을 위해 순방향 및 역방향 시간 ODE를 풀어 CNF를 최대우도 방식으로 학습한다.
• 프레임워크를 연속 시간 잠재 변수 시계열 모델로 확장하여 불규칙한 관측값과 포아송 과정 우도 등을 처리한다.

실험 결과

연구 질문

• RQ1 연속 깊이를 adjoint 미분으로 학습하는 신경망이 이산 깊이 네트워크와 성능에서 맞먹을 수 있는가?
• RQ2 연속 역학으로의 변환 대신 층형 변환을 채택하는 것이 정확도 손실 없이 메모리 효율성과 적응 계산을 제공하는가?
• RQ3 차원 분할 없이도 CNF가 확장 가능하고 다루기 쉬운 가능도 기반 밀도 추정을 제공하는가?
• RQ4 ODE 기반 잠재 변수 모델이 불규칙한 시계열 데이터와 이벤트 시점을 어떻게 다루는가?
• RQ5 신경 ODE에서 순방향 해석기 정확도와 학습 성능 간의 트레이드오프는 무엇인가?

주요 결과

모델	Test Error	Params	Memory	Time
1-Layer MLP	1.60%	0.24 M	-	-
ResNet	0.41%	0.60 M	O(L)	O(L)
RK-Net	0.47%	0.22 M	O(~L)	O(~L)
ODE-Net	0.42%	0.22 M	O(1)	O(~L)

• ODE-네트는 MNIST에서 ResNet 유사한 성능을 매개변수 수가 비슷한 수준으로 달성할 수 있다.
• 역전파는 adjoint 방법을 통해 해석기를 통한 순전파 역전보다 더 낮은 메모리 비용으로 선형적으로 발생한다.
• CNF는 행렬식 야코비안을 흔적 기반의 변수 변화로 대체하여 계산 부담을 줄이고 넓은 흐름 계층에서 선형 비용을 가능하게 한다.
• CNF와 일반 NF는 밀도 추정 작업에서 CNF가 더 낮은 학습 손실을 보이고, 예시들(두 원, 두 달 모듈)에서 샘플 변환이 더 나은 경향을 보인다.
• 잠재 ODE는 불규칙한 시계열 데이터의 정확한 재구성과 외삽을 가능하게 하며, RNN 기초 모델보다 예측 RMSE가 우수하다.