[논문 리뷰] Temporally-Reweighted Chinese Restaurant Process Mixtures for Clustering, Imputing, and Forecasting Multivariate Time Series

Feras A. Saad, Vikash K. Mansinghka|arXiv (Cornell University)|2017. 10. 18.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 비모수 베이지안 모델을 제안하며, 시간에 따라 재가중된 중국식 식당 과정(TRCRP) 혼합 모델을 사용하여 비정상적이고 희박한 동역학을 가진 다변량 시계열을 동시에 군집화, 보간 및 예측한다. 군집 내에서 이력 의존적 군집 확률과 계층적 사전 확률을 모델링함으로써, CDC 플루 데이터에서 뛰어난 예측 정확도와 경쟁 가능한 보간 성능을 달성하였으며, 파라미터 설정이나 수동 튜닝 없이 Gapminder의 거시경제 시계열 데이터에서 해석 가능한 군집을 발견하였다.

ABSTRACT

This article proposes a Bayesian nonparametric method for forecasting, imputation, and clustering in sparsely observed, multivariate time series data. The method is appropriate for jointly modeling hundreds of time series with widely varying, non-stationary dynamics. Given a collection of $N$ time series, the Bayesian model first partitions them into independent clusters using a Chinese restaurant process prior. Within a cluster, all time series are modeled jointly using a novel "temporally-reweighted" extension of the Chinese restaurant process mixture. Markov chain Monte Carlo techniques are used to obtain samples from the posterior distribution, which are then used to form predictive inferences. We apply the technique to challenging forecasting and imputation tasks using seasonal flu data from the US Center for Disease Control and Prevention, demonstrating superior forecasting accuracy and competitive imputation accuracy as compared to multiple widely used baselines. We further show that the model discovers interpretable clusters in datasets with hundreds of time series, using macroeconomic data from the Gapminder Foundation.

연구 동기 및 목표

• 비정상적이고 희박하게 관측되는 고차원의 다변량 시계열에 대한 예측, 보간, 군집화 과제를 해결하기 위해.
• 상태공간 모델 및 자기회귀 모델에서 흔히 사용되는 맞춤형 모델 사양과 파라미터 가정을 피하는 비모수 베이지안 방법을 개발하기 위해.
• 공통된 시간 역동성을 가진 잠재 군집을 발견함으로써 수백 개의 시계열을 동시에 모델링할 수 있도록 하기 위해.
• 역사적 신호가 충분한 제도에서는 예측 정확도를 향상시키고, 새로운 제도에서는 넓은 사전 확률로 회귀함으로써 예측 정확도를 향상시키기 위해.
• 고정된 군집 수나 수동 튜닝된 파rameter가 필요 없이 확률적 군집화, 보간 및 예측을 지원하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 모델은 공통된 시간 패턴을 기반으로 시계열을 군집화하기 위해 중국식 식당 과정(CRP) 사전 확률을 사용한다.
• 각 군집 내에서 시간에 따라 재가중된 CRP는 표준 CRP를 확장하여 시계열의 이전 $p$개 시간 단위를 사용해 군집 확률을 재가중한다.
• 계층적 확장은 여러 시계열 간에 공통된 군집 구조를 허용함으로써, 일관된 역동성을 가진 그룹을 발견할 수 있도록 한다.
• 예측 추론을 위해 마르코프 체인 몬테카를로(MCMC) 기법을 사용한다.
• 현재 시계열과 동일한 시간대의 다른 시계열의 값을 동시에 모델링함으로써 보간 정확도를 향상시킨다.
• 후행 군집 할당은 의존성 확률을 사용해 MCMC 샘플 간에 집계되어 불확실성을 표현하고 안정적인 군집을 추출한다.

실험 결과

연구 질문

• RQ1 비모수 베이지안 모델은 비정상적이고 희박한 동역학을 가진 다변량 시계열에서 군집화, 보간 및 예측을 동시에 수행할 수 있는가?
• RQ2 시간에 따라 재가중된 CRP는 표준 파라미터 모델 및 비모수 기준 모델에 비해 예측 및 보간 정확도를 어떻게 향상시키는가?
• RQ3 사전에 군집 수를 지정하지 않고도 고차원 시계열 데이터에서 의미 있고 해석 가능한 군집을 발견할 수 있는가?
• RQ4 모델은 희박하게 관측된 데이터에서 보간 성능 향상을 위해 시계열 간 종속성을 얼마나 효과적으로 활용하는가?
• RQ5 역사적 신호가 제한된 제도에서는 어떻게 성능을 발휘하며, 새로운 동역학에서 과적합을 피할 수 있는가?

주요 결과

• TRCRP 혼합 모델은 10개 미국 지역의 플루 유병률 예측에서 Facebook Prophet, 다중 출력 가우시안 프로세스, 계절 ARIMA, HDP-HMM 등 여러 기준 모델을 능가하였다.
• CDC 플루 데이터에서 보간 정확도는 예상보다 창문 크기 $p$에 덜 민감했으며, 강력한 시계열 간 종속성 덕분이었다.
• Gapminder의 GDP 데이터에서는 세포 전화 기술 도입 시기의 차이를 보이는 등 일관된 시간 패턴을 가진 9개의 해석 가능한 국가 군집을 발견하였다.
• 특히 $k$ 값이 높을수록 k-medoids와 동적 시간 왜곡(DTW)을 사용한 결과보다 군집이 더 명확하고 중복이 적었다.
• 선형 상관관계보다 더 정교한 종속성 구조를 탐지했으며, 이는 쌍별 의존성 확률 히트맵을 통해 확인되었다.
• 후행 군집 할당은 MCMC 샘플 간에 일관되며 확률적이라서 고정된 군집 할당 없이도 불확실성 인식 군집화가 가능했다.