[논문 리뷰] Neural Controlled Differential Equations for Irregular Time Series

Patrick Kidger, James Morrill외 2명|arXiv (Cornell University)|2020. 05. 18.

Model Reduction and Neural Networks참고 문헌 64인용 수 154

한 줄 요약

비정형이고 부분적으로 관측된 시계열에 대해 제어 미분방정식으로 업데이트되고 메모리 효율적인 adjoint 역전파를 지원하는 연속시간 모델인 Neural CDE를 소개하며, ODE/RNN 기반 baselines 중에서 최첨단 성능을 달성한다.

ABSTRACT

Neural ordinary differential equations are an attractive option for modelling temporal dynamics. However, a fundamental issue is that the solution to an ordinary differential equation is determined by its initial condition, and there is no mechanism for adjusting the trajectory based on subsequent observations. Here, we demonstrate how this may be resolved through the well-understood mathematics of \emph{controlled differential equations}. The resulting \emph{neural controlled differential equation} model is directly applicable to the general setting of partially-observed irregularly-sampled multivariate time series, and (unlike previous work on this problem) it may utilise memory-efficient adjoint-based backpropagation even across observations. We demonstrate that our model achieves state-of-the-art performance against similar (ODE or RNN based) models in empirical studies on a range of datasets. Finally we provide theoretical results demonstrating universal approximation, and that our model subsumes alternative ODE models.

연구 동기 및 목표

• 데이터가 불규칙하게 도착하거나 부분적으로 관측될 때 Neural ODE의 한계를 동기 부여하고 해결한다.
• 데이터 경로 X에 의해 구동되는 제어 미분방정식을 사용하는 Neural CDE 프레임워크를 제안한다.
• 관찰 간 메모리 효율적인 adjoint 역전파를 보여준다.
• 보편 근사 성질을 확립하고 실험적으로 ODE/RNN 기반과 비교한다.
• 불규칙한 시계열 작업의 구현 및 평가에 대한 실용적인 가이드를 제공한다.

제안 방법

• X를 관측 데이터들을 통해 자연스러운 큐빅 스플라인 경로로 정의하여 CDE를 구동한다.
• z_t = z_{t0} + ∫_{t0}^{t} f_theta(z_s) dX_s 를 z_{t0} = zeta_theta(x0, t0)로 형식화한다.
• 벡터장과 초기 상태를 학습하기 위해 신경망 f_theta와 zeta_theta를 사용한다.
• 관찰 간에 O(H) 메모리로 adjoint 역전파를 통해 학습하여 전체적으로 O(L+H) 메모리를 달성한다.
• X가 미분가능할 때 Neural CDE가 z_t = z_{t0} + ∫ g_theta,X(z_s, s) ds로 쓸 수 있음을 보여 주며, 표준 ODE 해석기를 가능하게 한다.
• Neural CDE가 GRU-ODE 유사 모델을 포함하고 보편 근사 결과를 제공함을 주장한다.

실험 결과

연구 질문

• RQ1 불규칙한 데이터로 구동되는 연속시간 모델이 불규칙하거나 부분적으로 관측된 시계열에서 이산 시간 기반 RNN/ODE 접근법보다 더 나은 성능을 보일 수 있는가?
• RQ2 Neural CDE 프레임워크가 관찰 간 메모리 효율적인 역전파를 지원하면서도 경쟁력 있는 정확도를 유지할 수 있는가?
• RQ3 Neural CDE가 보편 근사 능력을 제공하고 대안적인 ODE 기반 접근법을 포함하는가?
• RQ4 관찰 강도 채널과 부분 관측 처리 방식이 실제 데이터 세트에서 성능에 어떤 영향을 미치는가?

주요 결과

• Neural CDEs는 불규칙/부분적으로 관측된 데이터 세트(CharacterTrajectories, PhysioNet sepsis prediction)에서 비교 대상 모델 중 최첨단 정확도를 달성하고 우수한 메모리 효율을 보여준다.
• CharacterTrajectories에서 30%, 50%, 70% 데이터가 드랍된 경우 Neural CDE는 98.7% ± 0.8% 정확도를 달성하고 메모리 사용량은 약 1.3 MB이며 GRU-ODE, GRU-D, ODE-RNN, GRU-Δt를 능가한다.
• PhysioNet 패혈증 예측에서 관찰 강도가 AUC를 향상시키며 Neural CDE가 0.880 ± 0.006 AUC를 244 MB 메모리(OI)로 달성하는 반면 다른 모델은 0.776–0.833 MB에 머문다(모델과 설정에 따라 다름).
• 일반적인 샘플링이 있는 Speech Commands에서 Neural CDE는 89.8% ± 2.5%의 정확도를 달성하는 반면, 여러 RNN/ODE 기본 모델은 낮은 성능과 더 큰 분산을 보인다.
• Neural CDE는 이론적으로 시퀀스의 보편 근사자이며 특정 경로 함수들을 표현할 수 있고, 벡터장이 연속 입력에 의존하는 경우 다른 ODE 모델을 포함한다(포함한다).