[論文レビュー] Detecting changes in slope with an $L_0$ penalty

Robert Maidstone, Paul Fearnhead+1 more|arXiv (Cornell University)|Jan 6, 2017

Statistical Methods and Inference参考文献 21被引用数 4

ひとこと要約

この論文は、残差平方和を最小化し、変化点数に $L_0$ ペナルティを課すことで、一変量時系列における複数の勾配変化点を検出する、新しい動的計画法である CPOP を提案する。$L_1$ ペナルティ法や NOT やトレンドフィルタリングのような近似手法と比較して、特に 10,000 件を超える観測値と 100 個以上の変化点を含む実際の細菌の運動データにおいて、優れた精度と単純性を達成している。

ABSTRACT

Whilst there are many approaches to detecting changes in mean for a univariate time-series, the problem of detecting multiple changes in slope has comparatively been ignored. Part of the reason for this is that detecting changes in slope is much more challenging. For example, simple binary segmentation procedures do not work for this problem, whilst efficient dynamic programming methods that work well for the change in mean problem cannot be directly used for detecting changes in slope. We present a novel dynamic programming approach, CPOP, for finding the "best" continuous piecewise-linear fit to data. We define best based on a criterion that measures fit to data using the residual sum of squares, but penalises complexity based on an $L_0$ penalty on changes in slope. We show that using such a criterion is more reliable at estimating changepoint locations than approaches that penalise complexity using an $L_1$ penalty. Empirically CPOP has good computational properties, and can analyse a time-series with over 10,000 observations and over 100 changes in a few minutes. Our method is used to analyse data on the motion of bacteria, and provides fits to the data that both have substantially smaller residual sum of squares and are more parsimonious than two competing approaches.

研究の動機と目的

• 時系列における複数の勾配変化点を検出するための効率的で最適な手法の欠如に応えること。これは、平均値の変化点検出よりも複雑な問題である。
• 変化点数に $L_0$ ペナルティを課す条件下で、グローバルに最適な連続的区分線形フィットを求める動的計画法の開発。
• 標準的なバイナリセグメンテーションの失敗と、連続性制約のため、標準的な動的計画法が勾配変化点問題に適用できないことの克服。
• 残差平方和とモデルの複雑さのバランスを $L_0$ ペナルティでとることで、計算的に実行可能で正確な最適セグメンテーション手法の提供。

提案手法

• CPOP は、連続的制約を課した区分線形平均関数の下で、すべての可能な変化点構成を探索する連続的状態の動的計画法フレームワークを用いる。
• アルゴリズムは、連続するセグメント間の依存関係を捉える1変数パラメータ $\phi$ を用いて、最適コスト関数を再帰的に定義する。
• 関数的プルーニングを採用し、$\phi$ の区分的二次関数のみを保持することで計算複雑性を低減し、効率的なラインサーチを可能にする。
• フィットの質とモデルの単純さのバランスをとるために、残差平方和と変化点数への $L_0$ ペナルティを組み合わせた基準を最小化する。
• コスト関数が $\phi$ に関して区分的二次関数であるという事実を活用し、各ステップで1変数最小化により正確な最適化を実現する。
• アルゴリズムは、最大 10,000 件の観測値と 100 個以上の変化点を含む大規模データセットを処理できるように設計されており、実行時間は数分で完了する。

実験結果

リサーチクエスチョン

• RQ1 連続性制約が標準的な独立性仮定を破るため、勾配変化点の検出に正確な動的計画法を開発することは可能か？
• RQ2 真の変化点位置の推定において、変化点数に $L_0$ ペナルティを課すことは、$L_1$ ペナルティと比較してどれほど高い精度を達成できるか？
• RQ3 1変数パラメータ空間における区分的二次コスト関数に、関数的プルーニングを効果的に適用できるか？
• RQ4 バクテリアのフラジリラ運動のような複雑で非定常的なダイナミクスを示す実世界のデータに対して、提案手法はどのように性能を発揮するか？
• RQ5 CPOP は、NOT やトレンドフィルタリングのような近似手法を、フィットの質とモデルの単純さの両面で上回ることができるか？

主な発見

• CPOP は細菌のフラジリラデータにおいて残差平方和 1.72 を達成し、使用する変化点数が少ない（182 対 794）にもかかわらず、NOT の 1.80 よりも顕著に低い値であった。
• パラメータ数が 350 未満のモデルにおいて、CPOP が得た連続的区分線形フィットの対数尤度は、最良の不連続平均フィットよりも 32.4 単位高い値を示した。
• CPOP のセグメンテーションは 182 個の変化点を有し、トレンドフィルタリング（実際の勾配変化点が 10,850 個、3 桁小数点以下丸めで 278 個）よりも優れており、残差平方和も高い（2.94）値であった。
• CPOP は、NOT やトレンドフィルタリングよりも、はるかに単純で正確なフィットを提供し、顕著に低い残差平方和と少ない変化点数を達成した。
• 10,000 件を超える観測値と 100 個以上の変化点を含むデータを処理でき、数分で分析を完了した。
• 実験的結果により、この文脈において $L_0$ ペナルティが $L_1$ ペナルティよりも信頼性の高い変化点推定をもたらすことが確認された。