[論文レビュー] Pruned dynamic programming for optimal multiple change-point detection

Guillem Rigaill|arXiv (Cornell University)|Apr 6, 2010

Statistical Methods and Inference参考文献 6被引用数 78

ひとこと要約

この論文は、古典的DP法と同一の最悪計算量O(Kn²)および空間計算量O(Kn)を維持しながら、実行時間を著しく短縮する、最適な複数の変化点検出のための刈り込み動的計画法を提案する。この手法により、100万件のデータポイントを数分で処理可能となり、古典的手法が数日を要するのと比べて顕著な高速化が達成される。最適性を損なわず、不要な計算を刈り込むことで実行時間が短縮され、凸損失関数やオンライン設定への自然な拡張も可能である。

ABSTRACT

Multiple change-point detection models assume that the observed data is a realization of an independent random process affected by K-1 abrupt changes, called change-points, at some unknown positions. For off-line detection a dynamic programming (DP) algorithm retrieves the K-1 change-points minimizing the quadratic loss and reduces the complexity from \Theta(n^K) to \Theta(Kn^2) where n is the number of observations. The quadratic complexity in n still restricts the use of such an algorithm to small or intermediate values of n. We propose a pruned DP algorithm that recovers the optimal solution. We demonstrate that at worst the complexity is in O(Kn^2) time and O(Kn) space and is therefore at worst equivalent to the classical DP algorithm. We show empirically that the run-time of our proposed algorithm is drastically reduced compared to the classical DP algorithm. More precisely, our algorithm is able to process a million points in a matter of minutes compared to several days with the classical DP algorithm. Moreover, the principle of the proposed algorithm can be extended to other convex losses (for example the Poisson loss) and as the algorithm process one observation after the other it could be adapted for on-line problems.

研究の動機と目的

• 大規模データセットにおける複数の変化点検出のための古典的動的計画法の高い計算コストを解消すること。
• 最適性を維持しつつ、実用的な実行時間を著しく短縮するための刈り込み戦略を開発すること。
• 時間計算量の増加を伴わず最悪計算量の上限を保ちつつ、動的計画法のスケーラビリティを大規模データに拡張すること。
• ポアソン損失などの他の凸損失関数への応用を可能にする。
• 観測値を逐次処理する性質を活かし、オンライン変化点検出に適応すること。

提案手法

• アルゴリズムはK-1個の変化点における二乗損失を最小化する動的計画法を適用するが、計算中に有望でない状態を刈り込むことで最適性を保ちつつ効率化する。
• 刈り込みは、将来の経路のコストの下界を用いて行われ、最適解に到達できない状態を破棄する。
• 刈り込み条件により、最適解が保証され、探索空間が削減されつつも正しさが維持される。
• 観測値を逐次処理するため、オンライン検出への応用が可能である。
• 同様の動的計画法と刈り込みの原則を用いて、ポアソン損失などの他の凸損失関数へも形式的に拡張可能である。
• 理論的分析により、最悪時間計算量がO(Kn²)、空間計算量がO(Kn)のまま変化せず、古典的DPと同一であることが示された。

実験結果

リサーチクエスチョン

• RQ1 複数の変化点検出のための動的計画法を、最適性を損なわず実用的に著しく高速化できるか？
• RQ2 最適解を保ちつつ計算時間を短縮できる刈り込み戦略は何か？
• RQ3 本手法は、n = 100万件の観測値のような大規模データセットにおいてどのようにスケーリングするか？
• RQ4 二乗損失を超える他の凸損失関数への拡張は可能か？
• RQ5 逐次処理の性質を考慮すると、オンライン変化点検出に適しているか？

主な発見

• 刈り込み動的計画法は、古典的DPと比較して著しい実行時間の短縮を達成し、100万件のデータポイントを数分で処理可能である。
• 最悪時間計算量と空間計算量はそれぞれO(Kn²)およびO(Kn)のまま変化せず、古典的DPと同一である。
• 刈り込まれた状態が、保持された状態よりも良い解に到達できないことを保証することで、最適性が維持される。
• 実験的結果から、理論的上限が変化しないにもかかわらず、実用的な高速化が顕著に観察された。
• 同様の動的計画法と刈り込みフレームワークを用いて、ポアソン損失などの他の凸損失関数へも容易に拡張可能である。
• アルゴリズムの逐次処理の性質により、オンライン変化点検出のシナリオへの潜在的な適応が可能である。