[論文レビュー] Computationally efficient change point detection for high-dimensional regression

Florencia Leonardi, Peter Bühlmann|arXiv (Cornell University)|Jan 14, 2016

Statistical Methods and Inference参考文献 21被引用数 34

ひとこと要約

本稿では、高次元線形回帰における複数の変化点を検出するための計算的に効率的な手法を提案する。L1正則化最小二乗法を用いた変化点とセグメント固有の回帰パラメータの共同推定器を用い、正確な動的計画法による解と、O(n log n · Lasso(n))の計算量を有する高速な二分探索近似解を提示する。両者に対して理論的一貫性とオラクル不等式を確立し、変化点の数が漸近的に増加する大規模データのスケーラブルな解析を可能にする。

ABSTRACT

Large-scale sequential data is often exposed to some degree of inhomogeneity in the form of sudden changes in the parameters of the data-generating process. We consider the problem of detecting such structural changes in a high-dimensional regression setting. We propose a joint estimator of the number and the locations of the change points and of the parameters in the corresponding segments. The estimator can be computed using dynamic programming or, as we emphasize here, it can be approximated using a binary search algorithm with $O(n \log(n) \mathrm{Lasso}(n))$ computational operations while still enjoying essentially the same theoretical properties; here $\mathrm{Lasso}(n)$ denotes the computational cost of computing the Lasso for sample size $n$. We establish oracle inequalities for the estimator as well as for its binary search approximation, covering also the case with a large (asymptotically growing) number of change points. We evaluate the performance of the proposed estimation algorithms on simulated data and apply the methodology to real data.

研究の動機と目的

• 予測変数の数が標本サイズに匹敵するかそれ以上である高次元回帰データにおける構造的変化の検出という課題に対処すること。
• 複数のセグメントにわたる変化点の数、位置、およびパラメータを同時に同定する共同推定器を構築すること。
• 変化点の数が標本サイズとともに増加する状況においても、理論的一貫性と近似的に最良の収束速度を保証すること。
• 動的計画法の代わりに二分探索アルゴリズムを用いることで、大規模データにおける計算コストを顕著に削減しつつ、理論的性質を維持すること。
• ゲノム研究や計量経済学など、高次元の逐次的データを扱う実世界の応用に実用的かつスケーラブルなソリューションを提供すること。

提案手法

• 各セグメントにおける回帰係数にL1ノルム正則化を施した罰則付き残差平方和基準を用い、スパarsityを促進するとともに変化点を検出する。
• 正則化を用いた推定フレームワークにより、変化点とセグメント固有の回帰パラメータの共同推定問題として変化点検出を定式化する。
• 正確な解は動的計画法で計算されるが、本稿では計算量をO(n log n · Lasso(n))に削減する計算効率の良い二分探索近似に焦点を当てる。
• 二分探索アルゴリズムは、部分区間における罰則付き目的関数の評価を繰り返し行い、候補となる変化点の位置を段階的に精緻化する。
• 理論的分析には、高次元および変化点数が増加する設定下での推定誤差のバインドに、オラクル不等式と集中不等式を用いる。
• シミュレーションと実データへの応用を通じて、本手法の妥当性を検証し、変化点の検出において頑健性とスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 複数の変化点（特にその数が増加する可能性がある状況）が存在する中で、理論的保証を伴う変化点と高次元回帰パラメータの共同推定器を構築することは可能か？
• RQ2 動的計画法の解に対する二分探索近似は、計算コストを著しく削減しながらも、正確な手法と同等の理論的性質を維持できるか？
• RQ3 回帰係数および変化点数の推定において一貫性と近似的に最良の収束速度を保証するためのチューニングパラメータの最適選択は何か？
• RQ4 変化点数が標本サイズとともに増加する有限標本設定下で、本手法はどのように性能を発揮するか？
• RQ5 本手法は、ゲノムやファイナンシャルタイムシリーズなどの実世界の高次元逐次的データに実用的に応用可能か？

主な発見

• 提案された共同推定器は、回帰パラメータおよび変化点数の両方についてオラクル不等式を達成し、高次元かつ変化点数が増加する設定下で近似的に最良の収束速度を示す。
• 二分探索近似は、正確な動的計画法解と同等の理論的性質（一貫性およびオラクル不等式のバインド）を保持する。
• 二分探索アルゴリズムの計算コストはO(n log n · Lasso(n))であり、nが大きい大規模データに対しても実行可能である。
• 追加のモデル選択手順（例：BIC）を必要とせず、変化点数を一貫して推定する。
• シミュレーションおよび実データ応用により、本手法の頑健性、精度、および変化点の検出におけるスケーラビリティが確認された。