[論文レビュー] Multiple Changepoint Estimation in High-Dimensional Gaussian Graphical Models

Alex Gibberd, Sandipan Roy|arXiv (Cornell University)|Dec 15, 2017

Statistical Methods and Inference参考文献 33被引用数 12

ひとこと要約

本稿は、piecewise constant Gaussian graphical model における高次元時系列データにおいて、複数の変化点とグラフィカル依存構造を同時に推定するための Group-Fused Graphical Lasso (GFGL) を提案する。高次元漸近的条件下で、変化点検出および精度行列回復の両面において理論的一貫性を確立し、最小セグメント長が標本サイズとともに増大する場合、推定器が変化点の位置とセグメント固有のネットワーク構造を一貫して特定できることを証明する。

ABSTRACT

We consider the consistency properties of a regularised estimator for the simultaneous identification of both changepoints and graphical dependency structure in multivariate time-series. Traditionally, estimation of Gaussian Graphical Models (GGM) is performed in an i.i.d setting. More recently, such models have been extended to allow for changes in the distribution, but only where changepoints are known a-priori. In this work, we study the Group-Fused Graphical Lasso (GFGL) which penalises partial-correlations with an L1 penalty while simultaneously inducing block-wise smoothness over time to detect multiple changepoints. We present a proof of consistency for the estimator, both in terms of changepoints, and the structure of the graphical models in each segment.

研究の動機と目的

• 変化点が未知であり、ネットワーク構造と同時に推定されなければならない高次元グラフィカルモデルにおけるギャップを埋める。
• 複数の変化点を同時に検出し、各セグメントにおける精度行列を回復する正則化推定器を開発する。
• 高次元漸近的条件下で、変化点局所化およびグラフィカルモデル回復の両面において推定器の一貫性を確立する。
• 既存の手法が変化点を既知と仮定するか、i.i.d. データを仮定するのを拡張し、動的で、piecewise-stationary な多変量ガウス過程に適用可能にする。

提案手法

• Group-Fused Graphical Lasso (GFGL) は、偏相関に L1 ペナルティを適用し、時間軸に跨る fused lasso ペナルティを導入することで、精度行列の時間的ブロックワイドな滑らかさを誘導する。
• この手法は、正則化を用いて変化点の位置と各セグメントにおける精度行列を同時に推定するための連合最適化問題を定式化する。
• 各セグメント内でスパースな精度行列推定のためのグラフィカルラッソと、隣接セグメント間の時間的均一性を促進するためのfused lassoを統合する。
• 理論的分析は、高次元ランダム行列の濃縮不等式と最大偏差バウンドを用いて、推定精度行列における標本誤差を制限することに依存する。
• 一貫性の証明では、推定セグメントが最小セグメント長 $ d_{\min} $ より長い場合と短い場合の両方を検討し、誤差をバウンドするための最悪ケースブロック構成を用いる。
• 分析により、誤差制御のための有効標本サイズが $ d_{\min} $ で有界であることが示され、セグメント長が小さくても一貫性が保証される。

実験結果

リサーチクエスチョン

• RQ1 高次元時系列データにおいて、時間とともに変化するグラフィカルモデル構造を有する場合、正則化推定器は複数の変化点を一貫して検出可能か？
• RQ2 GFGL を用いた変化点と精度行列の同時推定は、変化点局所化および構造回復の両面で一貫性を達成するか？
• RQ3 最小セグメント長 $ d_{\min} $ が、高次元設定における推定器の一貫性に与える影響は何か？
• RQ4 小規模または重複するセグメントにおける標本誤差が、変化点およびネットワーク構造推定の精度に与える影響は何か？
• RQ5 次元 $ p $、標本サイズ $ T $、およびセグメント長に適切にスケーリングされる推定誤差の理論的バウンドを導出可能か？

主な発見

• 最小セグメント長 $ d_{\min} $ が標本サイズとともに増大する場合、GFGL 推定器は変化点検出において一貫性を示す。これにより、構造的ブレークの位置が信頼性高く局所化される。
• 各セグメントにおける精度行列の回復も一貫的であり、誤差バウンドは $ O(\sqrt{\log p / n_{\text{eff}}}) $ に比例する。ここで $ n_{\text{eff}} \geq d_{\min} $ である。
• ブロック全体における標本誤差は、ほとんど確実に $ \max\{\hat{n}_k, d_{\min}\} \|W_{\infty}^{(d_{\min}/2)}\|_{\infty} $ でバウンドされ、高次元状態でも安定性が保証される。
• 重複するブロックにおける最悪ケース誤差は、セグメント長がほぼ等しいときに発生し、$ n_1 = n_2 = |\hat{\tau}_k - \hat{\tau}_{k-1}|/2 $ で最大値に達する。この値は $ d_{\min} $ でバウンドされる。
• セグメント長が $ d_{\min} $ より短い場合、有効標本サイズは $ d_{\min} $ でキャップされ、高確率濃縮のもとで誤差バウンドは有効である。
• 理論的分析により、$ d_{\min} \to \infty $ が $ T \to \infty $ のとき成り立つ限り、セグメント数が増加しても推定器の一貫性が維持されることを確認した。