[論文レビュー] Hierarchical Bayesian Mixture Models for Time Series Using Context Trees as State Space Partitions

Ioannis Papageorgiou, Ioannis Kontoyiannis|arXiv (Cornell University)|Jun 6, 2021

Bayesian Methods and Mixture Models参考文献 33被引用数 4

ひとこと要約

本論文は、最近の観測値から導かれるコンテキストツリーを用いて状態空間を分割し、各分割に別個の自己回帰（AR）モデルを割り当てることで、実数値時系列データに適した階層ベイズ混合モデルを提案する。このモデルは正確なベイズ推論を可能とし、正確な事後確率を伴うMAPモデル選択を実現し、シミュレートデータおよび実データにおいて、最先端の手法を上回るモデル選択および予測性能を示す。

ABSTRACT

A general Bayesian framework is introduced for mixture modelling and inference with real-valued time series. At the top level, the state space is partitioned via the choice of a discrete context tree, so that the resulting partition depends on the values of some of the most recent samples. At the bottom level, a different model is associated with each region of the partition. This defines a very rich and flexible class of mixture models, for which we provide algorithms that allow for efficient, exact Bayesian inference. In particular, we show that the maximum a posteriori probability (MAP) model (including the relevant MAP context tree partition) can be precisely identified, along with its exact posterior probability. The utility of this general framework is illustrated in detail when a different autoregressive (AR) model is used in each state-space region, resulting in a mixture-of-AR model class. The performance of the associated algorithmic tools is demonstrated in the problems of model selection and forecasting on both simulated and real-world data, where they are found to provide results as good or better than state-of-the-art methods.

研究の動機と目的

• 非線形ダイナミクスを有する実数値時系列を柔軟かつ一般にモデリングするためのベイズフレームワークの開発。
• 時系列解析における混合モデルのための適切な状態空間分割の選択という課題の解決。
• 豊富なクラスの混合モデル内での正確なベイズ推論、特にMAPモデル選択および事後確率の計算を可能とする。
• 自己回帰成分を用いた時系列予測およびモデル選択におけるフレームワークの有効性の実証。

提案手法

• 状態空間は、最近の観測値の接尾語によって定義される領域を表すノードを有する離散的コンテキストツリーを用いて分割される。
• 各分割領域に別個の自己回帰（AR）モデルが割り当てられ、AR混合モデルが構築される。
• コンテキストツリー構造およびARモデルのパラメータの両方に階層ベイズ的事前分布を設定し、整合的な推論を可能にする。
• 動的計画法およびツリー構造上の周辺尤度の再帰的計算により、正確なベイズ推論が達成される。
• 可能なツリー構造の空間上で効率的な探索アルゴリズムを用いて、事後確率が最大となる（MAP）コンテキストツリーおよび関連パラメータが特定される。
• MAPモデルの事後確率が正確に計算され、厳密なモデル比較および選択が可能になる。

実験結果

リサーチクエスチョン

• RQ1 コンテキストツリーに基づく状態空間分割を用いた階層ベイズフレームワークは、時系列混合モデルにおける正確なベイズ推論を可能にするか？
• RQ2 提案されたAR混合モデルの性能は、時系列予測およびモデル選択において最先端の手法と比較してどうなるか？
• RQ3 このフレームワーク内において、MAPコンテキストツリーおよび関連パラメータを正確かつ効率的に特定できるか？
• RQ4 コンテキストツリー構造は、実数値時系列におけるモデルの柔軟性および予測精度にどのような影響を与えるか？

主な発見

• 提案されたフレームワークは、MAPモデルの正確な計算およびその事後確率の正確な算出を含む正確なベイズ推論を可能にする。
• 効率的なアルゴリズムを用いることで、MAPコンテキストツリーおよび関連ARモデルを正確に特定でき、近似手法を回避する。
• シミュレーションデータおよび実世界の時系列データの両方において、本手法は最先端のアプローチと同等以上、しばしばそれ以上に優れた予測およびモデル選択性能を達成する。
• 状態空間の分割にコンテキストツリーを用いることで、局所的なARダイナミクスを用いて、時系列データの複雑な非線形依存関係を捉えることが可能になる。