[論文レビュー] Efficient penalty search for multiple changepoint problems

Kaylea Haynes, Idris A. Eckley+1 more|arXiv (Cornell University)|Dec 11, 2014

Optimal Experimental Design MethodsDecision Sciences参考文献 14被引用数 22

ひとこと要約

本稿では、複数の変動点問題における連続的なペナルティ値の範囲全体で最適な変動点セグメンテーションを計算的に効率的に特定する手法CROPSを提案する。動的計画法と新規のペナルティ探索戦略を活用することで、CROPSはデータサイズと最適な変動点数の差の両方に対して線形の計算量を達成し、モデル固有の基準に依存せずに、強固なペナルティ選択のための迅速なセグメンテーション比較を可能にする。

ABSTRACT

In the multiple changepoint setting, various search methods have been proposed which involve optimising either a constrained or penalised cost function over possible numbers and locations of changepoints using dynamic programming. Such methods are typically computationally intensive. Recent work in the penalised optimisation setting has focussed on developing a pruning-based approach which gives an improved computational cost that, under certain conditions, is linear in the number of data points. Such an approach naturally requires the specification of a penalty to avoid under/over-fitting. Work has been undertaken to identify the appropriate penalty choice for data generating processes with known distributional form, but in many applications the model assumed for the data is not correct and these penalty choices are not always appropriate. Consequently it is desirable to have an approach that enables us to compare segmentations for different choices of penalty. To this end we present a method to obtain optimal changepoint segmentations of data sequences for all penalty values across a continuous range. This permits an evaluation of the various segmentations to identify a suitably parsimonious penalty choice. The computational complexity of this approach can be linear in the number of data points and linear in the difference between the number of changepoints in the optimal segmentations for the smallest and largest penalty values. This can be orders of magnitude faster than alternative approaches that find optimal segmentations for a range of the number of changepoints.

研究の動機と目的

• 仮定されたデータモデルが誤って指定されている場合に、ペナルティの適切な選択を困難にする課題に対処すること。
• AIC や BIC のような単一のデフォルトペナルティに依存するのではなく、連続的なペナルティ値の範囲にわたるセグメンテーションの比較を可能にすること。
• 各ペナルティ値に対して制約付き最適化問題を繰り返し解く高コストを回避する、計算的に効率的な手法の開発。
• 計算コストが非常に高い既存の手法（例：Segment Neighbourhood）に対する実用的な代替手段を提供すること。
• 複数のペナルティ選択肢のデータ駆動型評価を可能にすることで、変動点検出のロバストネスを向上させること。

提案手法

• CROPSは、連続的なペナルティ値βの範囲にわたってペナルティ付きコスト関数を効率的に最小化するため、PELTアルゴリズムを用いる。
• ペナルティ最適化と制約付き最適化の双対性を活用：各βに対して、同じセグメンテーションをもたらす変動点数m*を特定する。
• βの変化に伴い最適な変動点数がどのように変化するかを追跡することで、連続区間内のすべてのβに対して最適なセグメンテーションを計算する。
• 動的計画法と枝刈りを組み合わせることで、データサイズnと最大・最小の最適変動点数の差の両方に対して線形時間計算量を維持する。
• 最適セグメンテーションが変化するブレークポイントを特定することで、ペナルティ範囲を効率的に走査し、重複計算を回避する。
• 任意のコスト関数に対応でき、任意の変動点検出アルゴリズムと組み合わせ可能であるが、効率性を考慮してPELTが使用されている。

実験結果

リサーチクエスチョン

• RQ1 複数の変動点問題において、連続的なペナルティ値の範囲にわたって最適なセグメンテーションを効率的に計算する方法は何か？
• RQ2 複数のペナルティ値にわたるセグメンテーションの比較にかかる計算コストは何か？ そして、既存の手法を下回る低コスト化は可能か？
• RQ3 モデルの誤り指定が、AIC や BIC や Hannan-Quinn のような標準的なペナルティ選択に与える影響は何か？ また、範囲ベースのアプローチはその影響を緩和できるか？
• RQ4 単一のアルゴリズムが、離散的な変動点数ではなく連続区間内のすべてのペナルティ値に対して効率的にセグメンテーションを出力できるか？
• RQ5 Segment Neighbourhood や固定ペナルティ法といった既存の手法と比較して、提案手法の速度と正確さはどの程度か？

主な発見

• CROPSは、データポイント数nと、最小ペナルティ値と最大ペナルティ値における最適な変動点数の差の両方に対して、線形の計算量を達成する。
• シミュレーションでは、Segment Neighbourhoodアプローチよりも最大2桁の速さを達成し、計算効率が顕著に向上した。
• ウェルログデータに対してSICペナルティ（BIC）を適用した場合、218個のセグメントに過剰適合し、モデル誤指定下でのデフォルトペナルティ選択の脆さを示した。
• ペナルティなしのコスト関数とセグメント数の関係をプロットしたエラーボール法により、10〜12セグメントが妥当な選択肢であると示唆されたが、CROPSにより、このようなセグメンテーションをペナルティ値にわたって直接比較可能となった。
• CROPSは、範囲内に含まれる任意のβに対して、ペナルティ付き基準で最適なセグメンテーションを回復でき、各mに対して制約付き問題を解く必要がなくなる。
• 連続的なペナルティスペクトルにわたるセグメンテーションの視覚的・定量的評価を可能にすることで、データ駆動型の強固なペナルティ選択が実現された。