[論文レビュー] Bayesian Change Point Analysis of Linear Models on Graphs

Xiaofei Wang, John W. Emerson|arXiv (Cornell University)|Sep 2, 2015

Statistical Methods and Inference参考文献 16被引用数 16

ひとこと要約

本稿では、一般の連結グラフ上の線形モデルに対して、積分パーティションモデルとマルコフ連鎖モンテカルロ（MCMC）を用いてブロック境界と回帰パラメータを推定するベイジアン変化点解析フレームワークを提案する。この手法は、従来の変化点モデルを順序付き構造やグリッド構造に限らない一般化したものであり、シミュレーションおよび実データにおいて安定したチューニングを実現し、高い性能を示す。

ABSTRACT

Consider observations $y_1,\dots,y_n$ on nodes of a connected graph, where the $y_i$ independently come from $N(θ_i, σ^2)$ distributions and an unknown partition divides the $n$ observations into blocks. One well-studied class of change point problems assumes the means $θ_i$ are equal for all nodes within contiguous blocks of a simple graph of sequential observations; both frequentist and Bayesian approaches have been used to estimate the $θ_i$ and the change points of the underlying partition. This paper examines a broad class of change point problems on general connected graphs in which a regression model is assumed to apply within each block of the partition of the graph. This general class also supports multivariate change point problems. We use Bayesian methods to estimate change points or block boundaries of the underlying partition. This paper presents the methodology for the general class of change point problems and develops new algorithms for implementation via Markov Chain Monte Carlo. The paper concludes with simulations and real data examples to demonstrate application of the methodology on a wide range of problems.

研究の動機と目的

• 任意の連結グラフ上での線形モデルにおける変化点検出の統一的ベイジアンフレームワークの構築を目的とし、順序付きまたはグリッド構造に限らないデータへと拡張する。
• ブロックごとの回帰パラメータを積分パーティション分布でモデル化し、変化点およびブロック境界に関する柔軟な推論を可能にする。
• 古典的ベイジアン変化点モデルでよく問題となる精度パラメータ α のチューニングパラメータ選択に対するロバスト性を向上させることを目的とする。
• 一度の整合的な確率的モデルで多次元および回帰ベースの変化点解析を可能にすることを目的とする。
• 実用的応用を可能にするために、更新された R パッケージ（bcp v4.0.0）への実装を目的とする。

提案手法

• ノードに配置された観測値を、未知の分割によって定義されるブロック内での線形回帰でモデル化する連結グラフ構造を用いる。
• パーティション上の事前分布として積分パーティションモデル（PPM）を適用し、ブロック固有の回帰パラメータと共有される分散 σ² を含む。
• 回帰係数に階層的事前分布を適用：平均 0、ブロックサイズとハイパーパrameter d でスケーリングされた精度を持つ正規分布。
• Gibbs およびメトロポリス・フاستリング更新を用いて、パーティション、ブロックパラメータ、ハイパーパラメータの同時事後分布を MCMC で探索する。
• 共役事前分布および β と α₀ の周辺化を用いて、σ² および w₀ などの主要パラメータの閉形式の条件付き事後分布を導出する。
• ブロックの包含（τ_S）に混合事前分布を適用し、ブロックが線形モデル（τ_S=1）か単なる平均（τ_S=0）かを許容し、小さなブロックに対してペナルティを課す。

実験結果

リサーチクエスチョン

• RQ1 線形回帰のベイジアン変化点モデルは、順序付きまたはグリッド構造に限らない任意の連結グラフへと一般化可能か？
• RQ2 グリッド構造のデータに対して、既存の手法と比較して、提案手法の正確性およびチューニングパラメータへのロバスト性はいかがなものか？
• RQ3 次元間で共通の変化点構造を持つ多次元変化点問題に対して、このモデルはどの程度効果的に処理できるか？
• RQ4 ブロック内に回帰構造を組み込むことで、単純な平均シフトモデルに比べて推定性能がどの程度向上するか？
• RQ5 精度パラメータ α がモデル性能に与える影響は何か？また、その選択に対する感受性を低減できるか？

主な発見

• BCP-Graph-0 アルゴリズムは α の選択に対して高いロバスト性を示し、さまざまなグリッド構造のシミュレーションにおいて、既存手法を著しく上回る安定性と正確性を達成した。
• グリッド構造のシナリオにおけるシミュレーションでは、特に α の値が大きい場合に、より低い平均二乗誤差（MSE）を達成した。
• シミュレーション状況下で、1イテレーションあたりのブロック平均数が真のブロック数に安定し、収束およびパーティション回復の有効性を示した。
• 次元間で同一のパーティション構造を共有することで、多次元変化点問題を効果的に処理でき、既知の結果と整合性を保った。
• R パッケージ bcp（v4.0.0）への実装により、環境および医療生物学的データを含む実世界データへの効率的な応用が可能になった。
• ハイパーパラメータ w₀ および σ² の周辺化により、解析的に扱える事後分布が得られ、数値積分を伴わず効率的な MCMC 計算が可能になった。