[논문 리뷰] Dynamic clustering of time series data

Victhor S. Sartório, Thaís C. O. Fonseca|arXiv (Cornell University)|2020. 01. 28.

Time Series Analysis and Forecasting인용 수 1

한 줄 요약

이 논문은 시간에 따라 변화하는 혼합 가중치를 갖는 진화적 디리클레 프로세스로 제어되는 동적 선형 모델(DLM)의 혼합을 사용하여 다변량 시계열에 대한 동적 클러스터링 방법을 제안한다. 이는 부드럽고 시간에 따라 변화하는 클러스터 소속 전이를 가능하게 하며, 효율적인 스토하스틱 EM과 경사 하강법을 통합하여 신속한 점 추정을 실현한다. 이 방법은 재생 가능 에너지 및 Gapminder 데이터셋에서 뛰어난 성능을 보이며, 정적 클러스터 할당이 필요 없이 구조적 전환을 포착한다.

ABSTRACT

We propose a new method for clustering multivariate time-series data based on Dynamic Linear Models. Whereas usual time-series clustering methods obtain static membership parameters, our proposal allows each time-series to dynamically change their cluster memberships over time. In this context, a mixture model is assumed for the time series and a flexible Dirichlet evolution for mixture weights allows for smooth membership changes over time. Posterior estimates and predictions can be obtained through Gibbs sampling, but a more efficient method for obtaining point estimates is presented, based on Stochastic Expectation-Maximization and Gradient Descent. Finally, two applications illustrate the usefulness of our proposed model to model both univariate and multivariate time-series: World Bank indicators for the renewable energy consumption of EU nations and the famous Gapminder dataset containing life-expectancy and GDP per capita for various countries.

연구 동기 및 목표

• 시계열 클러스터링에서 정적 클러스터 할당의 한계를 해결하기 위해, 시계열이 시간에 따라 행동을 변화시킬 수 있음을 고려한다.
• 기존의 HMM 기반 또는 k-means 유사 접근 방식보다 더 민첩하게 시간에 따라 변화하는 클러스터 소속 관계를 모델링한다.
• 대규모 또는 고차원 시계열에 대한 실용적 응용을 가능하게 하기 위해 동적 혼합 모델의 계산 효율적인 추정 방법을 개발한다.
• 모델이 구조적 전환 또는 점진적 전이를 보이는 시계열을 정확히 분류할 수 있음을 입증한다. 이는 외곽치나 전이 행동의 오분류를 방지한다.

제안 방법

• 각 클러스터가 자체의 시간에 따라 변화하는 상태 벡터와 관측 분포를 갖는 동적 선형 모델(DLM)의 혼합으로 시계열을 모델링한다.
• 각 시계열 i의 시간 t에서 시간에 따라 변화하는 혼합 가중치 ηit을 도입하며, 이를 진화적 디리클레 프로세스로 모델링하여 클러스터 간의 부드러운 전이를 가능하게 한다.
• MCMC보다 계산 비용을 줄이기 위해 스토하스틱 기대값 최대화(SEM)와 경사 하강법을 조합하여 모델 파라미터의 신속한 점 추정을 수행한다.
• 사후 분포 및 불확실성 정량화가 필요한 경우, 전체 베이지안 추론을 위해 지브스 샘플링을 적용한다.
• DLM을 통해 상태공간 역학을 통합하여 각 클러스터 내의 시간적 의존성을 포착한다.
• 실용적 구현과 재현 가능성을 위해 파이썬 라이브러리(dynmix)를 개발한다.

실험 결과

연구 질문

• RQ1 시간에 따라 클러스터 소속이 변화하는 시계열은 동적 DLM 혼합 모델로 효과적으로 모델링할 수 있는가?
• RQ2 클러스터 소속 전이를 갑작스럽거나 정적일 것이 아니라, 부드럽고 시간에 따라 변화하도록 만들 수 있는가?
• RQ3 제안된 방법은 정적 클러스터링 또는 HMM 기반 접근 방식보다 시계열 데이터의 구조적 전환을 더 잘 포착하는가?
• RQ4 복잡하고 다차원적으로 분리된 행동을 보이는 다변량 시계열을 모델이 다룰 수 있는가?
• RQ5 시간 복잡도와 확장성 측면에서 MCMC에 비해 제안된 점 추정 방법의 효율성은 어떠한가?

주요 결과

• 모델은 보츠와나와 에스와토리아 기니가 저소득에서 고소득으로 전환하는 동안에도 낮은 평균 수명을 유지하면서도 아프리카 그룹 소속을 정확히 유지함을 성공적으로 포착했다.
• 북아프리카 국가들과 터키의 경우, 모델이 클러스터 소속의 동적 변화를 감지했으며, 1967년에서 1977년 사이에 GDP 증가로 인해 리비아의 유럽 그룹 소속 비율이 45%에서 88%로 증가했다.
• 알바니아, 보스니아 헤르체고비나, 모리셔스, 르부니와 같은 국가는 1952년에 약 50% 수준의 불확실한 분류를 보였으며, 이는 전이 상태를 의미했고, 빠르게 안정적인 유럽 그룹 소속으로 전환되었다.
• 82개의 이변량 시계열(12개 시간 포인트)에 대해 점 추정 방법은 약 2분 내에 수렴했으며, MCMC 대비 약 20분 소요된 것에 비해 뚜렷한 속도 향상을 보였다.
• 정적 또는 급격한 전이 모델과 달리, 외곽치나 전이 행동의 오분류를 방지하기 위해 점진적이고 시간에 따라 변화하는 클러스터 소속 전이를 허용함으로써 모델은 효과적으로 오분류를 피했다.
• 진화적 디리클레 프로세스는 시간에 따라 변화하는 혼합 가중치를 효과적으로 모델링하여, 변화점 사전 지식이 없더라도 부드러운 전이를 가능하게 했다.