[논문 리뷰] Neural Jump Ordinary Differential Equations: Consistent Continuous-Time Prediction and Filtering

Calypso Herrera, Florian Krach외 1명|arXiv (Cornell University)|2020. 06. 08.

Neural Networks and Applications참고 문헌 31인용 수 8

한 줄 요약

이 논문은 신경미분방정식(Neural ODE)과 이산 관측 기반 점프를 조합하여 비정규 간격으로 샘플링된 확률적 과정에 대한 $L^2$-최적 예측을 학습하는 연속시간 모델인 Neural Jump ODE(NJ-ODE)를 소개한다. 이는 기존의 GRU-ODE-Bayes 및 ODE-RNN과 같은 방법들보다 이론적·실제로 더 우수한 성능을 보이며, 합성 및 실세계 데이터셋에서 조건부 기대값에 대한 이론적 수렴 보장을 제공하는 최초의 모델이다.

ABSTRACT

Combinations of neural ODEs with recurrent neural networks (RNN), like GRU-ODE-Bayes or ODE-RNN are well suited to model irregularly observed time series. While those models outperform existing discrete-time approaches, no theoretical guarantees for their predictive capabilities are available. Assuming that the irregularly-sampled time series data originates from a continuous stochastic process, the $L^2$-optimal online prediction is the conditional expectation given the currently available information. We introduce the Neural Jump ODE (NJ-ODE) that provides a data-driven approach to learn, continuously in time, the conditional expectation of a stochastic process. Our approach models the conditional expectation between two observations with a neural ODE and jumps whenever a new observation is made. We define a novel training framework, which allows us to prove theoretical guarantees for the first time. In particular, we show that the output of our model converges to the $L^2$-optimal prediction. This can be interpreted as solution to a special filtering problem. We provide experiments showing that the theoretical results also hold empirically. Moreover, we experimentally show that our model outperforms the baselines in more complex learning tasks and give comparisons on real-world datasets.

연구 동기 및 목표

• 기존의 GRU-ODE-Bayes 및 ODE-RNN과 같은 모델들이 비정규 간격으로 샘플링된 시계열 데이터에 대해 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 확률적 과정의 온라인 예측 및 필터링을 연속시간 학습 문제로 체계화하기 위해.
• 관측 간의 $L^2$-최적 조건부 기대값을 학습하는 데이터 기반 모델을 개발하기 위해.
• 연속시간 예측에 대한 수렴 증명이 가능한 새로운 훈련 프레임워크를 구축하기 위해.
• 이론적 수렴이 복잡한 과제와 실세계 데이터에서 향상된 성능으로 이어지는지 경험적으로 검증하기 위해.

제안 방법

• NJ-ODE는 신경미분방정식을 사용해 관측 간 잠재 상태의 연속적 진화를 모델링하여 부드러운 동역학을 보장한다.
• 각 관측 시점에서 모델은 새로운 관측값에 기반해 잠재 상태를 갱신하는 '점프'를 수행함으로써 최신 정보의 기억을 유지한다.
• 모델은 훈련 시퀀스의 양쪽 반을 모두 활용하는 새로운 비지도 틀을 사용해 훈련된다.
• 부분 관측 데이터를 처리하기 위해 자기 보정(self-imputation) 기법을 적용하며, 관측 마스크를 네트워크의 입력으로 제공한다.
• 잠재 상태에 대한 공유 임bedding과 ODE의 드리프트 항을 예측하는 별도의 신경망을 사용한다.
• 훈련 목표는 모델의 출력이 기대값 $\mathbb{E}[X_{t+s} \mid X_t = x_t]$에 기대값으로 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 관측 기반 점프를 갖는 신경미분방정식 기반 모델이 비정규 간격으로 샘플링된 확률적 과정에 대해 이론적으로 $L^2$-최적 예측으로 수렴할 수 있는가?
• RQ2 제안된 훈련 프레임워크는 이전의 모델들인 GRU-ODE-Bayes 및 ODE-RNN이 부족했던 수렴 보장을 가능하게 하는가?
• RQ3 실세계 및 합성 데이터에서 외삽 정확도 측면에서 잠재 ODE 및 ODE-RNN과 같은 기준 모델 대비 모델 성능은 어떻게 되는가?
• RQ4 경로 역사 정보를 명시적으로 모델링하지 않더라도, 복잡한 비마르코프성 유사 의존성에 일반화할 수 있는가?
• RQ5 은닉 크기 및 훈련 스케줄과 같은 아키텍처 선택 사항이 수렴성과 예측 정확도에 미치는 영향은 무엇인가?

주요 결과

• NJ-ODE 모델은 $L^2$-최적 예측으로의 이론적 수렴을 달성하여, 이론적 보장을 갖는 최초의 모델이다.
• PhysioNet 데이터셋에서, 더 큰 아키텍처를 사용한 NJ-ODE는 테스트 MSE $1.934 \pm 0.007 \times 10^{-3}$을 기록하며 기준 잠재 ODE 및 이전 방법들을 능가했다.
• 블랙-숄즈, 온스타인-울렌벡, 헤스턴 모델을 포함한 다양한 확률적 과정에서 모델 성능이 뛰어나며, 시각적 비교를 통해 이를 확인할 수 있었다.
• 최소한의 초모수 튜닝으로도, 감독 재구성 목표로 훈련된 모델들과 비교해 성능이 유사하거나 이를 초월했다.
• 전체 경로 데이터를 활용하는 비지도 훈련 프레임워크는 분할된 시퀀스로 훈련된 모델보다 더 우수한 일반화 성능을 제공한다.
• 경험적 결과는 이론적 수렴이 장기 외삽 과제에서 특히 뛰어난 예측 정확도로 이어진다는 점을 확인한다.