[論文レビュー] Pruning and Nonparametric Multiple Change Point Detection

Wenyu Zhang, Nicholas A. James+1 more|arXiv (Cornell University)|Sep 16, 2017

Statistical Methods and Inference参考文献 16被引用数 4

ひとこと要約

本稿では、動的計画法と枝刈りを用いて、1変量および多変量時系列における複数の変化点を効率的に検出する一般用途の変化点検出フレームワークcp3oを紹介する。計算コストを削減しながらも精度を維持するための枝刈りを適用することにより、cp3oはさまざまなノンパラメトリック適合度指標の使用を可能にし、これによりE統計を用いるe-cp3oおよびコルモゴロフ＝スミルノフ統計を用いるks-cp3oという2つの新しいアルゴリズムが得られた。これらは、多様なデータタイプにおいて、速度と検出精度の優れたバランスを実現している。

ABSTRACT

Change point analysis is a statistical tool to identify homogeneity within time series data. We propose a pruning approach for approximate nonparametric estimation of multiple change points. This general purpose change point detection procedure `cp3o' applies a pruning routine within a dynamic program to greatly reduce the search space and computational costs. Existing goodness-of-fit change point objectives can immediately be utilized within the framework. We further propose novel change point algorithms by applying cp3o to two popular nonparametric goodness of fit measures: `e-cp3o' uses E-statistics, and `ks-cp3o' uses Kolmogorov-Smirnov statistics. Simulation studies highlight the performance of these algorithms in comparison with parametric and other nonparametric change point methods. Finally, we illustrate these approaches with climatological and financial applications.

研究の動機と目的

• パラメトリック仮定に依存せずに、時系列における複数の変化点を計算的に効率的かつ柔軟に検出するフレームワークの開発。
• 不要な計算を排除する枝刈り戦略を組み込むことで、正確な動的計画法の計算負荷を低減すること。
• 統一された最適化フレームワーク内に、広範なノンパラメトリック適合度指標を統合できるようにすること。
• cp3oフレームワークにE統計とコルモゴロフ＝スミルノフ統計を統合することで、e-cp3oおよびks-cp3oという新たな強力な変化点検出アルゴリズムを提案すること。
• 実世界の気象学的および金融時系列データセットを用いて、本手法の性能を評価し、従来のパラメトリックおよびノンパラメトリック手法と比較して、競争力のある精度と速度を示すこと。

提案手法

• cp3oフレームワークは、変化点の探索空間を著しく縮小するための動的計画法に、枝刈りルーチンを適用することで、解の品質を損なわずに計算効率を向上させる。
• 動的計画法に適した条件を満たす任意の適合度指標がサポートされ、ユーザー定義または標準の指標を即座に統合できる。
• e-cp3oは、分布のモーメントの違いに敏感であり、多変量分布のノンパラメトリック比較を可能にするE統計を適合度指標として使用する。
• ks-cp3oは、累積分布関数の変化を検出するコルモゴロフ＝スミルノフ統計を用いることで、位置、スケール、形状の変化を効果的に検出できる。
• フレームワークは変化点の数を自動的に特定し、すべての最適なセグメンテーションを副産物として返すため、ペナルティパラメータのチューニングが不要である。
• 動的計画法の実行中に、部分的で非最適なセグメンテーションを早期に破棄することで枝刈りを実施し、実行時間を著しく短縮しながらも最適性を維持する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータタイプにわたって、計算効率と高い検出精度の両立を図る一般用途の変化点検出フレームワークを設計可能か？
• RQ2 動的計画法における枝刈りは、解の品質を損なわせることなく、複数の変化点検出における計算コストを効果的に低減できるか？
• RQ3 e-cp3oおよびks-cp3oは、従来のパラメトリックおよびノンパラメトリックの変化点検出手法と比較して、精度と実行時間の両面で優れた性能を示すか？
• RQ4 E統計やコルモゴロフ＝スミルノフ統計といったノンパラメトリック適合度指標を、変化点検出のための動的計画法フレームワークに効果的に統合できるか？
• RQ5 気象学的および金融時系列における変化点検出の実世界的意味は何か？また、提案手法は意味のある構造的変化をどのように効果的に特定するか？

主な発見

• e-cp3oは、1917年4月および1969年4月に熱帯陸上空温の異常値に変化点を検出したが、ks-cp3oは1864年2月、1878年5月、1898年9月の追加の変化点も特定した。後者は他の手法が検出できなかった視覚的に明確なシフトを捉えていた。
• 温度データセットでは、ks-cp3oが376.138秒を要したが、e-cp3oは3.659秒で、著しく短時間であった。しかし、ks-cp3oは唯一1864年の変化点を特定しており、微細な分布シフトに対して高い感度を示していることが示された。
• 為替レート解析では、e-cp3oは0.026秒で3つの変化点（1998年12月、2002年8月、2008年4月）を検出。E-Divisive（1.59秒）およびNPCP-F（1.213秒）を上回る速度で、検出精度は同等またはそれを上回った。
• 実データアプリケーションの両方において、e-cp3oが最も高速な手法であった。為替データでは0.026秒、温度データでは3.659秒の実行時間であり、温度解析においてはPELT（0.078秒）およびE-Divisive（135.795秒）を著しく上回った。
• シミュレーション研究により、cp3oに基づく手法は、精度と速度の良好なトレードオフを達成しており、さまざまなデータシナリオにおいて、パラメトリックおよびノンパラメトリックの競合手法と同等またはそれ以上の性能を示した。
• ecp RパッケージはCRANに公開されており、e-cp3oおよびks-cp3oのオープンソースアクセスを提供しており、研究および産業応用における広範な採用と再現性を可能にしている。