[論文レビュー] Bayesian Context Trees: Modelling and exact inference for discrete time series

Ioannis Kontoyiannis, Lambros Mertzanis+3 more|arXiv (Cornell University)|Jul 29, 2020

Bayesian Methods and Mixture Models被引用数 7

ひとこと要約

本稿は、変動メモリマルコフ連鎖における正確な推論のためのベイジアンコンテキストツリー（BCT）フレームワークを導入し、線形時間の決定的アルゴリズムを用いて、事前予測尤度、事後モデル確率、およびトップ-kモデル同定を効率的に計算可能にする。この手法は、予測精度においてVLMC、MTD、SMC、CTFを上回り、実世界のデータにおいて最大4.8%低いログロスを達成しており、ファイナンス、遺伝学、動物のコミュニケーションを含む複数のデータセットで一貫して首位を記録している。

ABSTRACT

We develop a new Bayesian modelling framework for the class of higher-order, variable-memory Markov chains, and introduce an associated collection of methodological tools for exact inference with discrete time series. We show that a version of the context tree weighting algorithm can compute the prior predictive likelihood exactly (averaged over both models and parameters), and two related algorithms are introduced, which identify the a posteriori most likely models and compute their exact posterior probabilities. All three algorithms are deterministic and have linear-time complexity. A family of variable-dimension Markov chain Monte Carlo samplers is also provided, facilitating further exploration of the posterior. The performance of the proposed methods in model selection, Markov order estimation and prediction is illustrated through simulation experiments and real-world applications with data from finance, genetics, neuroscience, and animal communication. The associated algorithms are implemented in the R package BCT.

研究の動機と目的

• 完全マルコフ連鎖および伝統的な変動メモリモデルの限界を是正し、バイアス・バリアンスのトレードオフとモデルの柔軟性をバランスさせる。
• VLMC や MTD などの最尤法に基づく手法が、観測された記号に確率0を割り当ててしまうという計算的・統計的非効率性を克服する。
• 変動メモリマルコフ連鎖における事後確率および事前予測尤度の正確な計算を可能にする完全なベイジアンフレームワークを構築する。
• 大規模または逐次的データに適した、効率的で線形時間のアルゴリズムを用いたモデル選択、予測、および事後分布の探索を提供する。
• 正確なベイジアン推論および変動次元MCMCサンプラーを用いて、不確実性の定量化とモデル平均化を促進する。

提案手法

• コンテキストツリー構造と遷移確率を確率変数として扱い、共役ディリクレ事前分布を用いたベイジアンコンテキストツリー（BCT）モデルを提案する。
• すべての可能なコンテキストツリーとそのパラメータの平均化により、正確な事前予測尤度を計算するためのコンテキストツリー加重（CTW）アルゴリズムを導入する。
• 事後的に最も確率の高いコンテキストツリーを特定し、その正確な事後確率を計算するBCTアルゴリズムを開発する。
• 効率的にトップ-k個の最も確率の高いコンテキストツリーを返すk-BCTアルゴリズムを設計し、堅牢なモデル選択を可能にする。
• コンテキストツリーとパラメータの事後分布を探索するための変動次元マルコフ連鎖モンテカルロ（MCMC）サンプラーを実装する。
• モデル平均化から導かれる正確な事後分布および予測分布を活用することで、逐次的予測とオンライン更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 未知のコンテキストツリー構造を有する変動メモリマルコフ連鎖の空間において、正確なベイジアン推論を効率的に行うことは可能か？
• RQ2 VLMC、MTD、SMC、CTFといった既存手法と比較して、提案されたベイジアンコンテキストツリー枠組みは、予測精度と頑健性においてどのように差をつけるか？
• RQ3 事後確率に基づくモデル平均化は、単一の最良モデルの点推定と比較して、予測性能をどの程度向上させるか？
• RQ4 このクラスのモデルにおいて、事前予測尤度および事後モデル確率の正確な線形時間アルゴリズムを開発することは可能か？
• RQ5 神経科学、ファイナンス、動物のコミュニケーションなど、複雑な時間的依存性を示す実世界の応用において、このフレームワークはどの程度の性能を示すか？

主な発見

• BCT手法は、すべてのテストデータセットで最小のログロスを達成し、2番目に良いCTFよりも最大4.8%低いログロスを、テストデータの最後10%で記録した。
• Pewee鳥のさえずりデータセットでは、BCTはSMCよりも13.2%低いログロス、CTFよりも1.2%低いログロスを記録した。一方、VLMCとMTDは、確率0の予測により無限大のログロスを示した。
• BCTアルゴリズムは、正確かつ効率的に事前予測尤度を計算でき、線形時間の計算量を有しており、スケーラブルな推論を可能にした。
• k-BCTアルゴリズムは、計算コストを削減しながらも、完全なBCT手法に非常に近い性能で最も確率の高いコンテキストツリーを効果的に同定した。
• 変動次元MCMCサンプラーは、正確な事後分布探索を可能にし、不確実性の定量化と頑健なモデル選択を支援した。
• ベイジアンフレームワークは、単一のMAPモデルに依存するSMCを著しく上回り、BCTにおけるモデル平均化の利点を明確に示した。