[논문 리뷰] Neural ODE Processes

Alexander Norcliffe, Cristian Bodnar외 3명|arXiv (Cornell University)|2021. 01. 01.

Neural Networks and Applications참고 문헌 13인용 수 7

한 줄 요약

Neural ODE Processes (NDPs)는 시간 시리즈 데이터의 적응형 동역학과 불확실성 추정을 가능하게 하는 확률적 프레임워크를 제안한다. 데이터에 따라 변화하는 ODE 분포를 학습함으로써, 새로운 관측치에 빠르게 적응하고 희박하거나 비정규적으로 샘플링된 데이터에서도 타당한 궤적을 포착할 수 있다. 이는 변수 속도를 가진 MNIST 숫자를 포함한 저차원 및 고차원 시간 시리즈 작업에서 표준 NPs와 NODEs를 능가한다.

ABSTRACT

Neural Ordinary Differential Equations (NODEs) use a neural network to model the instantaneous rate of change in the state of a system. However, despite their apparent suitability for dynamics-governed time-series, NODEs present a few disadvantages. First, they are unable to adapt to incoming data points, a fundamental requirement for real-time applications imposed by the natural direction of time. Second, time series are often composed of a sparse set of measurements that could be explained by many possible underlying dynamics. NODEs do not capture this uncertainty. In contrast, Neural Processes (NPs) are a family of models providing uncertainty estimation and fast data adaptation but lack an explicit treatment of the flow of time. To address these problems, we introduce Neural ODE Processes (NDPs), a new class of stochastic processes determined by a distribution over Neural ODEs. By maintaining an adaptive data-dependent distribution over the underlying ODE, we show that our model can successfully capture the dynamics of low-dimensional systems from just a few data points. At the same time, we demonstrate that NDPs scale up to challenging high-dimensional time-series with unknown latent dynamics such as rotating MNIST digits.

연구 동기 및 목표

• 신규 데이터가 도착할 때 실시간으로 예측을 업데이트할 수 없는 Neural ODEs의 적응성 부족 문제를 해결한다.
• 희박하거나 비정규적으로 샘플링된 시간 시리즈 데이터만 존재할 경우, 기저 동역학의 불확실성을 포착한다.
• 시간 색인된 확률적 과정을 모델링하기 위해 Neural Process 프레임워크에 명시적인 시간적 인덕티브 바이어스를 통합한다.
• 예를 들어 도는 MNIST 숫자와 같은 잠재 동역기가 있는 고차원 시간 시리즈를 스케일러블하게 모델링할 수 있도록 한다.
• 시간 순서 의존성과 동적 시스템 행동을 다루는 데에 한계가 있는 표준 NPs의 문제점을 해결한다.

제안 방법

• 초기 조건 점들에 의해 파arameter화된 Neural ODE들의 분포에 의해 동역학이 결정되는 확률적 과정을 정의한다.
• 신경망을 사용해 조건 점들을 인코딩하여 초기 상태(L0)와 ODE 도함수(D)에 대한 잠재 분포를 추론한다.
• 잠재 분포에서 ODE들을 샘플링하여 각각 타당한 해를 나타내는 다수의 가능성이 있는 궤적을 생성한다.
• 샘플된 초기 상태와 도함수 함수를 기반으로 ODE 통합을 조건화하고, 목표 시간대에서의 상태를 디코딩한다.
• 암시적 변분 추론(amortized variational inference)을 사용해 모델을 엔드 투 엔드로 훈련하며, 조건 점들에 대해 순열 불변 인코더를 사용한다.
• Neural Processes의 인덕티브 바이어스를 활용하면서도, ODE 통합을 통해 시간 인식 동역학을 통합함으로써 스케일러비리티를 유지한다.

실험 결과

연구 질문

• RQ1 Neural ODEs의 동역학 모델링 능력과 Neural Processes의 불확실성 추정 및 신속한 적응 능력을 동시에 갖춘 모델은 가능한가?
• RQ2 표준 NODEs나 NPs와 비교해, 이러한 모델은 희박하고 비정규적으로 샘플링된 시간 시리즈 데이터를 얼마나 잘 다룰 수 있는가?
• RQ3 시간을 연속적이고 순서가 있는 변수로 명시적으로 모델링하면, 잠재 동역기가 존재하는 시간 시리즈에서 성능 향상이 이루어지는가?
• RQ4 복잡하고 비트ivial한 기저 동역기를 가진 고차원 시간 시리즈에 대해 이 프레임워크는 스케일러블한가?
• RQ5 특히 각 샘플 간 동역학이 다를 경우, 훈련 시간 범위를 초월한 외삽에서 모델의 성능은 어떠한가?

주요 결과

• NDPs는 단지 몇 개의 조건 점들만으로도 다수의 타당한 동역학을 성공적으로 포착하여, 저차원 시스템에서 불확실성 인식 모델링의 가능성을 입증한다.
• 변수 속도 MNIST 작업에서, NDPs는 미리 보지 못한 시간 범위로 일반화하고 변수 각속도를 정확히 재구성할 수 있었으며, 표준 NPs는 재구성 또는 보간에 실패했다.
• 단지 50 에포크 동안 훈련된 NDPs가 500 에포크 동안 훈련된 NPs보다 더 낮은 훈련 손실을 기록하여, 더 빠른 수렴과 더 나은 최적화 효율성을 보였다.
• NDPs는 합성 1D 및 2D 시스템, 그리고 도는 MNIST와 같은 고차원 작업 모두에서 강력한 성능을 유지하며 스케일러비리티와 강건성을 입증했다.
• 모델이 임의의 조건 집합에 기반해 ODE 동역학을 조건화할 수 있는 능력 덕분에, ODE2VAE나 표준 NODEs와 달리 어떤 관측된 데이터 포인트에도 동적으로 적응할 수 있다.
• NDPs는 외삽 작업에서 NPs를 능가하며, 명시적인 시간적 인덕티브 바이어스가 훈련 시간 창을 초월한 일반화 능력을 크게 향상시킨다는 점을 입증했다.