[論文レビュー] High-dimensional Change-point Detection Using Generalized Homogeneity Metrics

Shubhadeep Chakraborty, Xianyang Zhang|arXiv (Cornell University)|May 19, 2021

Statistical Methods and Inference参考文献 5被引用数 8

ひとこと要約

本稿では、平均や分散構造を超えた急激な分布的変化を検出するため、一般化された均質性指標を用いた非パラメトリックな高次元変動点検出手法を提案する。ヒルベルト空間における累積和プロセスを導入し、HDMSSフレームワーク下でのその漸近的分布を導出するとともに、ワイルドバイナリセグメンテーションを組み合わせることで、厳密な有意性検定を伴う複数の変動点検出を実現する。

ABSTRACT

Change-point detection has been a classical problem in statistics and econometrics. This work focuses on the problem of detecting abrupt distributional changes in the data-generating distribution of a sequence of high-dimensional observations, beyond the first two moments. This has remained a substantially less explored problem in the existing literature, especially in the high-dimensional context, compared to detecting changes in the mean or the covariance structure. We develop a nonparametric methodology to (i) detect an unknown number of change-points in an independent sequence of high-dimensional observations and (ii) test for the significance of the estimated change-point locations. Our approach essentially rests upon nonparametric tests for the homogeneity of two high-dimensional distributions. We construct a single change-point location estimator via defining a cumulative sum process in an embedded Hilbert space. As the key theoretical innovation, we rigorously derive its limiting distribution under the high dimension medium sample size (HDMSS) framework. Subsequently we combine our statistic with the idea of wild binary segmentation to recursively estimate and test for multiple change-point locations. The superior performance of our methodology compared to other existing procedures is illustrated via extensive simulation studies as well as over stock prices data observed during the period of the Great Recession in the United States.

研究の動機と目的

• 平均や分散の変化を超えた一般化された分布的変化を高次元データで検出する手法の不足を補う。
• 未知の数の変動点を高次元かつ独立な観測データで検出可能な非パラメトリック手法を開発する。
• 高次元・中規模標本（HDMSS）フレームワーク下で、変動点推定子の理論的基盤となる漸近的分布を確立する。
• 非パラメトリックな2標本検定フレームワークを用いて、推定された変動点位置の有意性検定を可能にする。
• 既存手法が高次モーメントの変化を検出できない、または変動点数が事前に分かっている必要があるという制限を克服する。

提案手法

• 一般化された均質性指標を用いて埋め込みヒルベルト空間における累積和プロセスを構築し、単一の変動点を検出する。
• エネルギー距離に基づく統計量を基盤としつつ、修正されたカーネルベースのアプローチにより、一次および二次モーメントを超えた均質性を捉える。
• HDMSSフレームワーク下で検定統計量の漸近的分布を導出し、高次元漸近論における理論的妥当性を保証する。
• データを分割して部分区間をテストすることで、再帰的に複数の変動点を検出するため、ワイルドバイナリセグメンテーションを適用する。
• 均質性検定を再帰的分割戦略と統合し、有意性評価を伴う複数の変動点位置の推定を実現する。
• 二重中心化された距離およびモーメントの条件を用いて、高次元設定下での分散の制御と一貫性の確保を図る。

実験結果

リサーチクエスチョン

• RQ1 変化が平均や分散構造を超えて発生する高次元データにおいて、非パラメトリック手法が分布的変化を検出可能か？
• RQ2 HDMSSフレームワーク下で、単一の変動点推定子をどのように構築し、その漸近的分布を導出できるか？
• RQ3 変動点数が未知である状況下で、提案手法の複数の変動点検出性能はいかがなものか？
• RQ4 エネルギー距離およびグラフベースの手法と比較して、本手法は高次モーメントの変化をどの程度正確に検出できるか？
• RQ5 変動点がデータ系列の端に近い位置に存在する場合、本手法はパワーと正確性を維持できるか？

主な発見

• シミュレーションおよび実世界のデータを通じて、平均や分散のシフトを超えた高次元データにおける分布的変化を、本手法が効果的に検出できることを示した。
• HDMSSフレームワーク下で、変動点推定子の漸近的分布が厳密に導出され、推論の理論的根拠が得られた。
• 特に位置やスケールの変化がない状況下で、エネルギー距離およびグラフベースの手法よりも、高次モーメントの変化検出において優れた性能を示した。
• 本手法の均質性指標を用いたワイルドバイナリセグメンテーションにより、有意性検定を伴う高精度な再帰的複数変動点検出が可能になった。
• グレート・リセッション期の米国株価データに対する実証的分析では、経済的出来事と整合的な意味のある構造的変化点を同定した。
• 従来のグラフベース手法に見られる制限を克服し、変動点がデータ系列の端に近い場合でも、本手法は頑健性を維持した。