[論文レビュー] A Scalable Algorithm for Gaussian Graphical Models with Change-Points

Yves F. Atchadé, Leland Bybee|arXiv (Cornell University)|Jul 13, 2017

Statistical Methods and Inference参考文献 25被引用数 6

ひとこと要約

本稿では、ブロック更新によるグラフィカルモデルパラメータと変化点のラインサーチを用いて、高次元ガウスグラフィカルモデルに変化点を適合させるスケーラブルな近似MMアルゴリズムを提案する。この手法により、計算コストをO(Tp³)からO(Tp² + p³)に削減し、正則性条件のもとで真の変化点の統計的誤差内に高い確率で収束する。

ABSTRACT

Graphical models with change-points are computationally challenging to fit, particularly in cases where the number of observation points and the number of nodes in the graph are large. Focusing on Gaussian graphical models, we introduce an approximate majorize-minimize (MM) algorithm that can be useful for computing change-points in large graphical models. The proposed algorithm is an order of magnitude faster than a brute force search. Under some regularity conditions on the data generating process, we show that with high probability, the algorithm converges to a value that is within statistical error of the true change-point. A fast implementation of the algorithm using Markov Chain Monte Carlo is also introduced. The performances of the proposed algorithms are evaluated on synthetic data sets and the algorithm is also used to analyze structural changes in the S&P 500 over the period 2000-2016.

研究の動機と目的

• 時間的変化における急激な構造的変化を伴う高次元ガウスグラフィカルモデルの適合における計算課題に対処すること。
• CUSUM や事前指定された統計量に依存せずに、大規模なネットワークにおける変化点を効率的に推定できるスケーラブルなアルゴリズムの開発。
• データ生成過程の正則性条件のもとで、真の変化点の統計的誤差内に解に収束することの保証。
• 実世界のデータへの実用的応用を踏まえて、バイナリセグメンテーションを用いて単一の変化点アルゴリズムを複数の変化点へ拡張すること。
• 高次元設定において実装可能で高速なアルゴリズムを、マルコフ連鎖モンテカルロ法を用いて提供すること。

提案手法

• アルゴリズムは、近似MMフレームワークを用いて、繰り返しグラフィカルモデルパラメータと変化点位置を最適化する。
• 2つのセグメントの精度行列に対するプロキシマル勾配更新と、潜在的変化点位置におけるラインサーチを交互に実行する。
• 変化点の前後におけるグラフィカルモデルのスパarsityを誘導するために、エラスティックネットペナルティを活用する。
• 完全なグリッドサーチを避けることで計算複雑性を低減し、1イテレーションあたりO(Tp² + p³)にまで削減する。
• 高次元設定におけるスケーラビリティをさらに向上させるために、高速なMCMC実装を導入する。
• 複数の変化点への拡張のため、バイナリセグメンテーションを適用する。

実験結果

リサーチクエスチョン

• RQ1 高次元ガウスグラフィカルモデルにおける変化点推定のためのスケーラブルなアルゴリズムを開発できるか？
• RQ2 計算コストの観点から、提案されたMMアルゴリズムはブルートフォースグリッドサーチと比べて、速度と精度の面でどのように異なるか？
• RQ3 どのような正則性条件のもとで、アルゴリズムは真の変化点の近傍に高い確率で収束するか？
• RQ4 推定された変化点の統計的誤差は、真の変化点に対してどの程度の範囲に収まるか？
• RQ5 本アルゴリズムは、S&P 500のような実世界の金融ネットワークにおける構造的変化を検出するのにどの程度有効か？

主な発見

• 提案されたアルゴリズムは、高次元ガウスグラフィカルモデルにおける変化点検出において、ブルートフォースグリッドサーチと比べておおよそ1桁速い。
• 正則性条件のもとで、アルゴリズムは真の変化点の統計的誤差内に高い確率で収束する。
• 1イテレーションあたりの計算コストをO(Tp² + p³)にまで低減し、完全なグリッドサーチのO(Tp³)に比べ顕著に削減された。
• 理論的解析により、適切なデータの条件のもとで、変化点をδ以上過剰に推定する確率はδの関数として指数的に減少することが示された。
• 合成データを用いた実験により、アルゴリズムの安定性と真の変化点の回復精度が確認された。
• S&P 500（2000–2016）への応用では、市場ネットワークの依存関係における検出可能な構造的変化が明らかになり、実用的有用性が示された。