[論文レビュー] Change-point Detection and Segmentation of Discrete Data using Bayesian Context Trees

Valentinian Lungu, Ioannis Papageorgiou+1 more|arXiv (Cornell University)|Mar 8, 2022

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿では、ベイジアンコンテキストツリー（BCT）を用いて離散時系列の変化点検出とセグメンテーションを行うためのベイジアンフレームワークを提案する。この手法により、コンテキストツリー加重（CTW）アルゴリズムを用いて事前予測尤度を正確に計算可能となる。マーカフチェーンモンテカルロ（MCMC）サンプリングを用いて、変化点の数と位置を直接推定し、不確実性を明確に定量化する。実験では、DNAや気候時系列を含むシミュレート済みおよび実世界のデータに対して、最先端の手法を上回る性能を示した。

ABSTRACT

A new Bayesian modelling framework is introduced for piece-wise homogeneous variable-memory Markov chains, along with a collection of effective algorithmic tools for change-point detection and segmentation of discrete time series. Building on the recently introduced Bayesian Context Trees (BCT) framework, the distributions of different segments in a discrete time series are described as variable-memory Markov chains. Inference for the presence and location of change-points is then performed via Markov chain Monte Carlo sampling. The key observation that facilitates effective sampling is that, using one of the BCT algorithms, the prior predictive likelihood of the data can be computed exactly, integrating out all the models and parameters in each segment. This makes it possible to sample directly from the posterior distribution of the number and location of the change-points, leading to accurate estimates and providing a natural quantitative measure of uncertainty in the results. Estimates of the actual model in each segment can also be obtained, at essentially no additional computational cost. Results on both simulated and real-world data indicate that the proposed methodology performs better than or as well as state-of-the-art techniques.

研究の動機と目的

• 離散時系列における区分的定常な可変メモリ長マルコフ連鎖をモデル化する原理的で整合性のあるベイジアンフレームワークの構築。
• CTWアルゴリズムを用いて各セグメントのモデルとパラメータを周辺化することで、変化点に関する正確な推論を可能にする。
• 変化点の数と位置を不確実性を明確に定量化しながら推定する、頑健な手法の提供。
• シミュレート済みおよび実世界のデータにおいて、従来の最先端手法を上回る変化点検出およびセグメンテーション性能の実現。
• 非一様なメモリ構造を持つ複雑で不均質な時系列へのBCTの適用範囲の拡張。

提案手法

• 過学習を防ぐために、変化点数に一様事前分布を、その位置に順序統計量事前分布を設定した階層ベイジアンモデルを構築する。
• 各セグメントを可変メモリ長マルコフ連鎖としてモデル化し、ベイジアンコンテキストツリー（BCT）フレームワークを用いることで、高次依存性を柔軟かつ効率的に表現する。
• 各セグメントにおける事前予測尤度を、コンテキストツリー加重（CTW）アルゴリズムの変種を用いて正確かつ効率的に計算し、すべてのモデルとパラメータの周辺化を可能にする。
• 状態空間を効果的に探索し、変化点の数と位置の同時事後分布からサンプリングするため、グローバルジャンプとローカルランダムウォークの両方を含むカスタムMCMCサンプラーを設計する。
• MCMCアルゴリズムにより、点推定に加え、変化点位置とセグメントモデルの完全な不確実性定量化が得られる。
• 本手法は、公開済みのRパッケージBCTとして実装されており、再現性と広範な応用を支援する。

実験結果

リサーチクエスチョン

• RQ1 可変メモリ長マルコフ連鎖に基づくベイジアンフレームワークは、従来の手法と比較して、離散時系列における変化点検出を改善できるか？
• RQ2 CTWを用いた事前予測尤度の正確な計算は、変化点推論における効率的かつ正確なMCMCサンプリングを可能にするか？
• RQ3 本手法は、DNA配列や気候時系列など、複雑でi.i.d.でない構造を示す実世界データにおいて、どの程度の性能を発揮するか？
• RQ4 本手法は、変化点位置とセグメントモデルの不確実性をどの程度信頼性を持って定量化できるか？
• RQ5 本フレームワークは、特に自然言語処理の文脈において、大規模または連続的なアレフベットを扱うように拡張可能か？

主な発見

• 本手法は、DNAやエルニーニョ時系列を含む、シミュレート済みおよび実世界のデータにおいて、最先端の技術と同等以上、あるいはそれ以上の性能を達成した。
• エルニーニョデータセットでは、MCMC事後分布が変化点数として2つが最も可能性が高いと示し、MAP推定値は1802年と1991年であった。これは、既知の歴史的および気象学的出来事と整合的であった。
• エルニーニョイベントの頻度はセグメントごとに上昇：14% → 35% → 54%。これは人為的温暖化に起因する顕著な傾向を反映している。
• 各セグメントのモデルは可変メモリ長（例：深さ5, 1, 2, 3, 0）を示し、BCTフレームワークが文脈に応じた依存性を効果的に捉えられることを示した。
• 追加の計算コストをかけずに、変化点位置とセグメントモデルの完全な事後分布が得られ、不確実性の定量化が堅牢に可能となった。
• BCTに基づくアプローチは、小規模なアレフベットにおいて特に効果的であり、DNAセグメンテーションタスクで優れた性能を示した。これは、ゲノムデータ解析に適していることを示唆している。