[논문 리뷰] Recurrent Neural Processes

Timon Willi, Jonathan Masci외 2명|arXiv (Cornell University)|2019. 06. 13.

Topic Modeling참고 문헌 21인용 수 13

한 줄 요약

이 논문은 상태공간 모델의 새로운 가족인 순환 신경 과정(Recurrent Neural Processes, RNPs)을 소개한다. RNPs는 신경 과정(Neural Processes)을 시계열 데이터로 확장하기 위해 은닉 상태공간을 신경 과정으로 모델링함으로써 시계열 데이터에 적용된 조건부 상태공간 모델이다. RNPs는 부분 시계열 간 조건부 통일성 조건을 통해 빠르게 변화하는 시계열에서 느리고 장기적인 시간 패턴을 효율적으로 포착하며, 정확한 불확실성 추정과 높은 테스트 시 효율성을 가능하게 한다. 이는 실제 시계열 예측 및 비선형 시스템 식별 과제에서 최신 기술 수준의 성능을 보여주며, 특히 데이터 부족 상황에서도 뛰어난 성능을 발휘한다.

ABSTRACT

We extend Neural Processes (NPs) to sequential data through Recurrent NPs or RNPs, a family of conditional state space models. RNPs model the state space with Neural Processes. Given time series observed on fast real-world time scales but containing slow long-term variabilities, RNPs may derive appropriate slow latent time scales. They do so in an efficient manner by establishing conditional independence among subsequences of the time series. Our theoretically grounded framework for stochastic processes expands the applicability of NPs while retaining their benefits of flexibility, uncertainty estimation, and favorable runtime with respect to Gaussian Processes (GPs). We demonstrate that state spaces learned by RNPs benefit predictive performance on real-world time-series data and nonlinear system identification, even in the case of limited data availability.

연구 동기 및 목표

• 신경 과정(Neural Processes, NPs)을 시계열 및 시간적 데이터로 확장하기 위해 은닉 상태공간에 순환 구조를 도입함으로써 시계열 데이터를 다루는 데 목적이 있다.
• 고주기적인 변화가 느리지만 실시간 샘플링이 빠른 시계열 데이터에서 효율적인 추론을 가능하게 하기 위해 부분 시계열 간 조건부 통일성을 설정함으로써, 전체 시계열에 대한 의존성 없이도 효율적이고 확장 가능한 추론을 가능하게 한다.
• 시간에 따라 변화하는 확률적 과정에 적용할 때도 NPs의 장점인 유연성, 불확실성 추정, O(n+m) 실행 시간을 유지하면서도 이를 시계열 데이터에 적용한다.
• 특히 데이터가 제한된 상황에서도 실제 시계열 데이터셋에서 예측 성능 향상과 정보적인 불확실성 정량화를 입증한다.

제안 방법

• 시계열의 상태공간을 신경 과정(Neural Processes, NPs)을 사용하여 모델링함으로써 함수에 대한 분포 모델링과 불확실성 추정이 가능하도록 한다.
• 은닉 변수의 사전 분포에 순환성을 도입하여 $ P(z_t | z_{<t}, C_t) $ 를 정의함으로써, 시간 단계 간에 은닉 상태를 유지할 수 있도록 한다.
• 시계열의 겹치지 않는 부분 시계열 간에 조건부 통일성을 설정함으로써, 전체 시계열에 대한 의존성이 없이도 효율적이고 확장 가능한 추론이 가능하도록 한다.
• 다양한 시간 스케일을 모델링하기 위해 계층적 신경 과정 아키텍처를 사용하여 빠른 변동성과 느린 추세를 모두 포착한다.
• 목표 관측치의 로그우도에 대한 변분 하한의 유도된 미분 가능한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 일단-ahead 예측 과제에 프레임워크를 적용하며, 순차적(auto-regressive) 및 비순차적(non-auto-regressive) 복원 전략을 모두 사용한다.

실험 결과

연구 질문

• RQ1 신경 과정(Neural Processes)이 계산 효율성과 불확실성 추정 능력을 유지하면서도 시계열 데이터를 모델링할 수 있는가?
• RQ2 신경 과정의 은닉 상태공간에 순환 구조를 통합하여 시간에 따라 변화하는 확률적 과정을 모델링할 수 있는가?
• RQ3 RNPs는 이러한 패턴에 대한 명시적 지도 학습 없이도 고주기 관측(예: 시간당 기온)에서 느린 장기적 시간 패턴(예: 계절 패턴)을 효과적으로 학습할 수 있는가?
• RQ4 부분 시계열 간의 조건부 통일성 가정이 장기 시계열에서 확장 가능하고 정확한 추론을 가능하게 하는가?
• RQ5 실제 시계열 벤치마크에서 기존 상태공간 모델과 비교해 RNPs는 예측 정확도와 불확실성 캘리브레이션 측면에서 어떤 성능을 보이는가?

주요 결과

• Drives 데이터셋에서 RNPs는 정규화된 MSE가 0.238을 기록하여 LSTM(1.000)과 GP-NARX(0.953)를 크게 앞서며, 데이터 부족 상황에서도 뛰어난 일반화 능력을 보였다.
• Drives 데이터셋에서 RNPs는 예측 간격 커버리지 확률(PICP)이 0.874를 기록하여 제한된 데이터 상황에서도 신뢰할 수 있는 불확실성 정량화 능력을 입증했다.
• Electricity 데이터셋에서 RNPs는 정규화된 MSE가 1.111을 기록하여 VRNN(1.902)과 DSSM(1.131)를 포함한 여러 베이스라인을 앞서며, 복잡한 시간 동역학을 잘 포착하는 데에 유연성을 보였다.
• 정성적 분석 결과, RNPs는 목표 시계열의 시작을 정확히 예측하고, 특히 변동성이 높은 영역에서 동적으로 불확실성을 조정할 수 있었다.
• 모델는 고주기 관측(예: 시간당 기온)에서 느린 은닉 시간 스케일(예: 계절 패턴)을 학습할 수 있었으며, 이는 빠른 변동성에 의해 가려진 패턴들 사이에서도 가능했다.
• 이 프레임워크는 확률적 과정의 계층적 모델링을 지원하여 다중 시간 스케일의 시간 의존성을 효율적이고도 민첩하게 모델링할 수 있었다.