[논문 리뷰] Theoretical Guarantees for Learning Conditional Expectation using Controlled ODE-RNN.

Calypso Herrera, Florian Krach외 1명|arXiv (Cornell University)|2020. 06. 08.

Model Reduction and Neural Networks참고 문헌 16인용 수 4

한 줄 요약

이 논문은 랜덤 과정의 조건부 기대값을 데이터 기반으로 학습할 수 있도록 허용하는, 은닉 상태를 신경 미분방정식(신경 ODE)을 사용하여 모델링하고 이산적 점프를 결합한 제어된 ODE-RNN이라는 신경망 아키텍처를 제안한다. 정규성 조건 하에서, 모델의 출력 과정이 진짜 조건부 기대값 과정으로 수렴함을 이론적으로 증명하였다.

ABSTRACT

Continuous stochastic processes are widely used to model time series that exhibit a random behaviour. Predictions of the stochastic process can be computed by the conditional expectation given the current information. To this end, we introduce the controlled ODE-RNN that provides a data-driven approach to learn the conditional expectation of a stochastic process. Our approach extends the ODE-RNN framework which models the latent state of a recurrent neural network (RNN) between two observations with a neural ordinary differential equation (neural ODE). We show that controlled ODEs provide a general framework which can in particular describe the ODE-RNN, combining in a single equation the continuous neural ODE part with the jumps introduced by RNN. We demonstrate the predictive capabilities of this model by proving that, under some regularities assumptions, the output process converges to the conditional expectation process.

연구 동기 및 목표

• 시간 시리즈 모델링에서 확률 과정의 조건부 기대값을 데이터 기반으로 학습하는 방법을 개발하기 위해.
• 연속적인 역학과 이산적 점프를 통합하는 제어된 ODE를 포함하여 ODE-RNN 프레임워크를 확장하기 위해.
• 모델의 출력이 진짜 조건부 기대값 과정으로 수렴하는 데 대한 이론적 보장을 제공하기 위해.
• 단일 방정식 내에서 연속적인 신경 ODE 역학과 RNN에 의해 유도된 점프를 모두 포괄하는 일반적인 프레임워크를 구축하기 위해.

제안 방법

• 제어된 ODE-RNN은 현재 입력과 이전 은닉 상태에 따라 의존하는 제어된 ODE를 통합하여 관측 간의 은닉 상태 진화를 모델링한다.
• 이 프레임워크는 신경 ODE를 통한 연속 시간 역학과 RNN 전이에 의한 이산적 점프를 제어된 확률 미분방정식을 통해 통합한다.
• 은닉 상태는 각 시간 단계에서 현재 입력과 이전 은닉 상태에 따라 의존하는 제어된 ODE를 통합하여 업데이트된다.
• 모델은 상태 진화를 위한 연속 시간 흐름을 사용하며, 관측 시점에서 비연속적인 업데이트를 통해 RNN 동작을 시뮬레이션한다.
• 이론적 분석은 제어된 ODE의 비틀림 함수와 제어 함수에 대한 정규성 가정에 기반하여 수렴을 보장한다.
• 이 아키텍처는 조건부 기대값을 근사하기 위해 신경망 파라미터를 엔드 투 엔드로 훈련시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 신경 ODE와 RNN을 결합한 신경망 아키텍처가 데이터 기반으로 확률 과정의 조건부 기대값을 학습할 수 있는가?
• RQ2 연속 시간 역학과 이산적 RNN 업데이트를 어떻게 단일 수학적 프레임워크 내에서 공식적으로 통합할 수 있는가?
• RQ3 제어된 ODE-RNN의 출력이 진짜 조건부 기대값 과정으로 수렴하는 조건은 무엇인가?
• RQ4 이러한 하이브리드 모델의 예측 성능에 대해 어떤 이론적 보장을 설정할 수 있는가?

주요 결과

• 제어된 ODE-RNN은 신경 ODE를 통한 연속 은닉 역학과 RNN 업데이트에 의한 이산적 점프를 모두 모델링하는 통합 프레임워크를 제공한다.
• 모델 구성 요소에 대해 적절한 정규성 조건이 만족될 경우, 제어된 ODE-RNN의 출력 과정은 진짜 조건부 기대값 과정으로 수렴한다.
• 제어된 ODE를 통합함으로써 ODE-RNN을 일반화하여, 연속 흐름과 이산 전이 간의 상호작용을 명시적으로 모델링할 수 있다.
• 이론적 분석은 모델이 조건부 기대값을 일관되게 학습할 수 있음을 확인하여, 불확실성 하에서 신뢰할 수 있는 시간 시리즈 예측의 기초를 마련한다.