[論文レビュー] ecp: An R Package for Nonparametric Multiple Change Point Analysis of Multivariate Data

Nicholas A. James, David S. Matteson|arXiv (Cornell University)|Sep 12, 2013

Environmental Impact and Sustainability被引用数 57

ひとこと要約

ecp Rパッケージは、エネルギー統計を用いて多変量時系列の非パラメトリックな複数の変化点検出を提供し、正規分布などのパラメトリックな分布を仮定せずに、平均、分散、相関、裾の形状といった任意の分布的変化を検出可能である。E-DivisiveおよびE-Aggloの2つの手法を提供しており、最小限の仮定で変化点の数と位置を同時に推定する。

ABSTRACT

There are many different ways in which change point analysis can be performed, from purely parametric methods to those that are distribution free. The ecp package is designed to perform multiple change point analysis while making as few assumptions as possible. While many other change point methods are applicable only for univariate data, this R package is suitable for both univariate and multivariate observations. Estimation can be based upon either a hierarchical divisive or agglomerative algorithm. Divisive estimation sequentially identifies change points via a bisection algorithm. The agglomerative algorithm estimates change point locations by determining an optimal segmentation. Both approaches are able to detect any type of distributional change within the data. This provides an advantage over many existing change point algorithms which are only able to detect changes within the marginal distributions.

研究の動機と目的

• 従来の変化点パッケージが単変量データや特定の分布的変化に限定されているという制限に対処すること。
• 多変量時系列において、平均、分散、相関、裾の形状といった任意のタイプの分布的変化を検出可能にすること。
• ユーザーがペナルティ項を事前に指定する必要なく、変化点の数と位置を同時に推定すること。
• 有限のα次の絶対モーメントと時系列の独立性を仮定するのみの非パラメトリックフレームワークを提供すること。
• ファイナンス、バイオインフォマティクス、異常検出の分野における実世界の応用に適した計算効率の高い手法を提供すること。

提案手法

• SzékelyとRizzo（2005, 2010）のエネルギー統計を用いて、多変量分布間の非パラメトリックな分散尺度を定義する。
• E-Divisive法は、階層的二分法アルゴリズムを用い、逐次的に統計的に有意な変化点をテスト・同定する。
• E-Agglo法は、適合度統計量を最大化することで最適なセグメンテーションを求める凝集型アルゴリズムである。
• エネルギー統計を用いてセグメント間の分布を比較し、結合多変量構造における変化を検出可能にする。
• α ∈ (0, 2] の範囲で有限のα次の絶対モーメントが存在することに依存しており、重尾分布や軽尾分布を含む広範な分布に適用可能である。
• 単変量および多変量データをサポートし、複数の変化点および任意の分布的シフトにスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな形を仮定せずに、多変量時系列において任意のタイプの分布的変化を検出できる非パラメトリック手法は存在するか？
• RQ2 ecpパッケージは、多変量データにおける複数の変化点の数と位置をどの程度正確に推定できるか？
• RQ3 E-Divisive法とE-Agglo法は、平均、分散、相関、裾の形状といった異なるタイプの分布的変化において、性能がどう異なるか？
• RQ4 サンプルサイズと次元数は、ecpパッケージによる変化点検出精度にどのような影響を及えるか？
• RQ5 これらの手法は、相関のシフトや重尾分布のような複雑な多変量構造の変化を検出できるか？

主な発見

• 900件の観測値を持つ2次元正規系列で平均の変化（μ = 3）を検出する際、E-Divisive法はランダムインデックス1.000（標準誤差3.3×10⁻⁶）を達成した。
• 相関の変化（ρ = 0.9）を検出する際、E-Divisive法はT = 900でランダムインデックス0.958（標準誤差0.004）を達成し、高い相関シフト検出性能を示した。
• E-Agglo法は、すべてのシミュレーション状況でランダムインデックス約0.55を安定して達成しており、ベースライン性能を示したが、微細な変化には感受性が低いことが判明した。
• 自由度ν = 2のスチューデントのt分布における尾の形状の変化を検出する際、E-Divisive法はT = 600でランダムインデックス0.817を達成し、重尾分布に対しても有効であることが示された。
• E-Divisive法は、平均および分散の変化を検出する際、大規模なサンプルサイズおよび中程度から強いシフトにおいて、ランダムインデックスが0.98を超えるなど、E-Aggloを上回る性能を示した。
• 多変量相関構造（ρ = 0.9）の変化を検出する際、T = 900でランダムインデックス0.958を達成し、複雑な結合分布的変化の検出能力を確認した。