[논문 리뷰] Hierarchical Bayesian Mixture Models for Time Series Using Context Trees as State Space Partitions

Ioannis Papageorgiou, Ioannis Kontoyiannis|arXiv (Cornell University)|2021. 06. 06.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 4

한 줄 요약

이 논문은 최근 관측치로부터 유도된 문맥 트리(문맥 트리)를 사용해 상태공간을 분할하고, 각 분할 영역에 별개의 자기회귀(AR) 모형을 할당함으로써 실수값 시계열에 대해 계층적 베이지안 혼합 모형을 제안한다. 이 모형은 정확한 베이지안 추론을 가능하게 하며, 정확한 사후 확률을 포함한 최대사후확률(MAP) 모형 선택이 가능하여 시뮬레이션 및 실세계 데이터에서 최신 기법들보다 모형 선택 및 예측 성능에서 뛰어나다.

ABSTRACT

A general Bayesian framework is introduced for mixture modelling and inference with real-valued time series. At the top level, the state space is partitioned via the choice of a discrete context tree, so that the resulting partition depends on the values of some of the most recent samples. At the bottom level, a different model is associated with each region of the partition. This defines a very rich and flexible class of mixture models, for which we provide algorithms that allow for efficient, exact Bayesian inference. In particular, we show that the maximum a posteriori probability (MAP) model (including the relevant MAP context tree partition) can be precisely identified, along with its exact posterior probability. The utility of this general framework is illustrated in detail when a different autoregressive (AR) model is used in each state-space region, resulting in a mixture-of-AR model class. The performance of the associated algorithmic tools is demonstrated in the problems of model selection and forecasting on both simulated and real-world data, where they are found to provide results as good or better than state-of-the-art methods.

연구 동기 및 목표

• 비선형 역학을 갖는 실수값 시계열을 모델링하기 위한 유연하고 일반적인 베이지안 프레임워크를 개발하기 위해.
• 시계열 분석에서 혼합 모형의 적절한 상태공간 분할을 선택하는 데 도전하는 문제를 해결하기 위해.
• 풍부한 클래스의 혼합 모형 내에서 정확한 베이지안 추론—특히 MAP 모형 선택 및 사후확률 계산—을 가능하게 하기 위해.
• 자기회귀 성분을 사용하여 이 프레임워크의 시계열 예측 및 모형 선택 효과성을 입증하기 위해.

제안 방법

• 상태공간은 최근 관측치의 접미사로 정의된 영역을 나타내는 노드를 갖는 이산적 문맥 트리로 분할된다.
• 각 분할 영역에 별개의 자기회귀(AR) 모형이 할당되어 혼합-AR 모형이 형성된다.
• 문맥 트리의 구조와 AR 모형의 매개변수에 대해 계층적 베이지안 사전분포를 설정하여 일관된 추론을 가능하게 한다.
• 동적 프로그래밍과 트리 구조에 대한 경계우도의 재귀적 계산을 통해 정확한 베이지안 추론을 달성한다.
• 가능한 트리 구조의 공간을 탐색하는 효율적인 알고리즘을 통해 최대사후확률(MAP) 문맥 트리와 관련된 모형 매개변수를 식별한다.
• MAP 모형의 사후확률을 정확히 계산하여 엄밀한 모형 비교 및 선택을 가능하게 한다.

실험 결과

연구 질문

• RQ1 문맥 트리 기반 상태공간 분할을 갖는 계층적 베이지안 프레임워크는 시계열 혼합 모형에서 정확한 베이지안 추론을 가능하게 하는가?
• RQ2 제안된 혼합-AR 모형의 성능은 시계열 예측 및 모형 선택에서 최신 기법들과 비교해 어떻게 되는가?
• RQ3 이 프레임워크 내에서 MAP 문맥 트리와 관련된 모형 매개변수를 정확하고 효율적으로 식별할 수 있는가?
• RQ4 문맥 트리의 구조는 실수값 시계열에서 모형의 유연성과 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 최대사후확률(MAP) 모형과 그 사후확률을 정확히 계산하는 정확한 베이지안 추론을 가능하게 한다.
• 효율적인 알고리즘을 사용하여 MAP 문맥 트리와 관련된 AR 모형을 정확히 식별할 수 있으며, 근사 방법을 회피할 수 있다.
• 시뮬레이션 및 실세계 시계열 데이터에서, 이 방법은 최신 기법들과 비교해 최소한 동등하거나 더 뛰어난 예측 및 모형 선택 성능을 달성한다.
• 상태공간 분할로 문맥 트리를 사용함으로써, 국소적 AR 역학을 통해 시계열 데이터의 복잡한 비선형 상관관계를 포착할 수 있다.