[논문 리뷰] Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows

Ruizhi Deng, Bo Chang외 3명|arXiv (Cornell University)|2020. 02. 24.

Time Series Analysis and Forecasting참고 문헌 46인용 수 18

한 줄 요약

이 논문은 연속 시간 정규화 흐름(CTFP)을 소개한다. CTFP는 시간에 따라 변하는 가역 변환을 통해 빈자리 확률적 과정을 변형하여 다재다능하고 연속적인 시간의 확률적 과정을 생성한다. 이 방법은 정확한 우도 계산, 효율적인 샘플링, 그리고 비균일한 시간 그리드에서의 보간/외삽을 가능하게 하며, 복잡한 비균일 시간 시계열 데이터를 모델링하는 데 있어 변분 RNN과 잠재 ODE보다 뛰어난 성능을 보인다.

ABSTRACT

Normalizing flows transform a simple base distribution into a complex target distribution and have proved to be powerful models for data generation and density estimation. In this work, we propose a novel type of normalizing flow driven by a differential deformation of the Wiener process. As a result, we obtain a rich time series model whose observable process inherits many of the appealing properties of its base process, such as efficient computation of likelihoods and marginals. Furthermore, our continuous treatment provides a natural framework for irregular time series with an independent arrival process, including straightforward interpolation. We illustrate the desirable properties of the proposed model on popular stochastic processes and demonstrate its superior flexibility to variational RNN and latent ODE baselines in a series of experiments on synthetic and real-world data.

연구 동기 및 목표

• 비균일한 시간 그리드를 지원하고 유연한 연속 동역학을 가진 연속 시간 생성 모델을 개발하기 위해.
• 우리가 사용하는 빈자리 확률적 과정의 계산적 이점을 유지하면서도 표현력을 향상시키기 위해.
• 임의의 타임스탬프에서 보간 및 외삽을 가능하게 하여 이산 시간 모델의 한계를 해결하기 위해.
• 기존의 방법들인 변분 RNN과 잠재 ODE와 비교하여 실제 비균일 시계열 데이터를 더 잘 모델링하기 위해.
• 표현력을 향상시키고 데이터 분포를 더 잘 맞추기 위해 잠재 변수를 도입하여 프레임워크를 확장하기 위해.

제안 방법

• 모델은 시간에 따라 변하는 가역 맵핑을 통해 기본 빈자리 확률적 과정을 복잡한 관측 가능한 과정으로 변형하는 연속 시간 정규화 흐름을 사용한다.
• 흐름 역학은 신경 ODE로 정의되며, 이는 연속적인 샘플 경로와 가역성을 보장한다.
• 변환의 자코비안 행렬식은 자코비안의 추적을 사용하여 효율적으로 계산되며, 차원에 따라 정확한 계산 또는 Hutchinon 추정기를 사용한다.
• 표현력을 향상시키기 위해 잠재 변수를 도입하여, 변분 추론을 통해 훈련되는 잠재 CTFP 모델을 구성한다.
• 기본 빈자리 확률적 과정의 가역성과 해석적 접근 가능성 덕분에 정확한 우도 평가와 효율적인 샘플링이 가능하다.
• 비균일하게 간격이 떨어진 관측치를 자연스럽게 처리할 수 있으며, 관측된 데이터 포인트에 조건을 줌으로써 보간/외삽이 가능하다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 가역 변환을 통해 복잡한 확률적 과정을 모델링하면서도 빈자리 확률적 과정의 계산적 이점을 유지할 수 있는 연속 시간 정규화 흐름을 구성할 수 있는가?
• RQ2 기존의 이산 시간 기준 모델과 비교해 복잡한 비균일 시계열 데이터에서 제안된 모델의 보간 및 외삽 성능은 어떠한가?
• RQ3 잠재 변수를 CTFP 프레임워크에 포함시킬 경우, 실제 시계열 데이터에 대한 표현력과 우도 성능 향상이 뚜렷하게 이루어지는가?
• RQ4 정확도 및 생성 품질 측면에서 최신 기술인 변분 RNN과 잠재 ODE보다 CTFP가 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 고차원 설정에서 정확한 vs 근사적 자코비안 추적 추정 방식의 선택이 훈련 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• 잠재 CTFP 모델은 모든 실제 데이터셋에서 가장 낮은 음의 로그우도를 기록했으며, Mujoco-Hopper 데이터셋에서 -31.397 ± 0.063의 점수를 기록하여 잠재 ODE와 VRNN을 모두 압도했다.
• 베이징 대기질 데이터셋에서 잠재 CTFP는 음의 로그우도 -6.894 ± 0.046를 기록했으며, 이는 다음으로 우수한 모델인 잠재 ODE(-2.789)보다 뚜렷이 뛰어났다.
• PTB 진단 데이터베이스에서 잠재 CTFP는 음의 로그우도 -1.999 ± 0.010을 기록했으며, 최고 성능을 내는 모델과 동일한 성능을 보였지만 훨씬 더 안정적인 훈련을 보였다.
• CTFP 모델은 정확한 우도 계산과 효율적인 샘플링을 달성하여 임의의 타임스탬프에서 정확한 보간 및 외삽이 가능했다.
• 정확한 자코비안 추적 추정 방식(잠재 CTFP-ET)을 사용할 경우, 특히 고차원 설정에서 Hutchinon 추정기 대비 훈련 안정성과 성능이 향상되었다.
• 합성 및 실제 시계열 데이터 모두에서 복잡한 비선형 동역학을 잘 포착하는 데 뛰어난 유연성을 보였으며, 특히 비균일 샘플링 상황에서 두각을 나타냈다.