[논문 리뷰] Modeling Temporal Data as Continuous Functions with Stochastic Process Diffusion

Marin Biloš, Kashif Rasul외 3명|arXiv (Cornell University)|2022. 11. 04.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 확률적 과정을 사용하여 함수 공간에서 노이즈 추가 및 제거를 모델링함으로써 시간적 데이터를 이산적 점이 아닌 연속 함수로 간주하는 노이즈 제거 확산 모델을 제안한다. 이는 비정규 간격으로 샘플링된 시계열 데이터에 대해 확률적 예측, 누락치 보정 및 신경 프로세스 모델링을 가능하게 하며, 합성 및 실세계 데이터셋에서 기존 모델들을 능가하며 불확실성 캘리브레이션과 부드러움을 향상시킨다.

ABSTRACT

Temporal data such as time series can be viewed as discretized measurements of the underlying function. To build a generative model for such data we have to model the stochastic process that governs it. We propose a solution by defining the denoising diffusion model in the function space which also allows us to naturally handle irregularly-sampled observations. The forward process gradually adds noise to functions, preserving their continuity, while the learned reverse process removes the noise and returns functions as new samples. To this end, we define suitable noise sources and introduce novel denoising and score-matching models. We show how our method can be used for multivariate probabilistic forecasting and imputation, and how our model can be interpreted as a neural process.

연구 동기 및 목표

• 비정규 간격으로 샘플링된 시계열 데이터를 이산적 점이 아닌 연속 함수로 모델링하기 위해.
• 노이즈 추가 및 제거 과정에서 함수 연속성을 유지하는 생성 모델을 개발하기 위해.
• 함수 공간 확산을 통해 多변량 확률적 예측 및 누락 데이터 보정을 가능하게 하기 위해.
• 관측된 맥락 점들로부터 조건부 함수 생성을 가능하게 하기 위해 모델을 신경 프로세스로 해석하기 위해.
• 기존 방법들에 비해 시계열 모델링에서 불확실성 추정과 부드러움을 향상시키기 위해.

제안 방법

• 전방 과정은 고정된 확률적 과정(예: 정규 또는 옴슈타인-울렌벡)을 사용하여 전체 함수에 노이즈를 추가함으로써 연속성을 유지한다.
• 역방향 과정은 스코어 매칭 목표함수를 통해 순수한 노이즈에서 데이터 분포를 가진 함수로 노이즈 제거를 학습한다.
• 노이즈는 시간에 따라 변하는 확률적 과정을 통해 추가되며, 최종 노이즈가 가진 함수는 알려진 확률적 과정에 따라 분포된다.
• 모델은 시간과 맥락 점들에 조건부로 된 디노이징 U-Net 아키텍처를 사용하여 각 단계에서 노이즈를 예측한다.
• 학습 목표는 함수 공간 확산에 적응된 가능도에 대한 변분 하한에서 유도된다.
• 샘플링은 사전 확률적 과정의 샘플에서 시작하여 학습된 역방향 과정을 반복적으로 사용해 노이즈를 제거함으로써 수행된다.

실험 결과

연구 질문

• RQ1 함수 공간에서 효과적으로 정의된 확산 모델이 적절한 불확실성 정량화를 갖는 연속 시간 시계열을 생성할 수 있는가?
• RQ2 확률적 과정을 노이즈 소스로 사용하여 노이징 과정에서 함수의 연속성을 유지할 수 있는가?
• RQ3 제안된 방법이 비정규 간격으로 샘플링된 시계열 데이터에서 기존 모델들보다 확률적 예측 및 보정 성능을 뛰어나게 할 수 있는가?
• RQ4 기반 확률적 과정의 커널 선택에 따라 모델 성능은 어떻게 달라지는가?
• RQ5 모델을 신경 프로세스로 해석할 수 있으며, 관측된 맥락 점들로부터 조건부 함수 생성을 가능하게 할 수 있는가?

주요 결과

• 합성 GP 데이터에서 모델은 0.737의 퀀틸 손실을 기록하여 진짜 GP 기준선(0.845)을 능가함으로써 정확한 불확실성 포착을 보여줌.
• PhysioNet 데이터셋에서 평균적으로 4.2%의 임퓨티션 RMSE 감소(10% 누락 시 0.498 vs. 0.520)를 기록하며 통계적 유의성 확보.
• 모델은 진짜 기저 과정을 반영한 부드럽고 타당한 함수 샘플을 생성함. 특히 RBF 또는 OU 커널 사용 시 뚜렷함.
• 외삽성에 대해 잘 일반화되며, 활성화 함수의 포화가 발생하더라도 평균 및 분산 행동이 GP와 유사함.
• 모델의 불확실성 추정은 주목적 신경 프로세스보다 더 정확하며, 후자는 정확한 불확실성 패턴을 포착하지 못함.
• 모델은 커널의 부드러움에 관계없이 항상 올바른 주변 분포를 유지하며, 노이즈 과정의 파라미터는 샘플의 부드러움을 제어함.