[論文レビュー] A Kernel Multiple Change-point Algorithm via Model Selection

Sylvain Arlot, Alain Célisse+1 more|arXiv (Cornell University)|Feb 17, 2012

Statistical Methods and Inference参考文献 74被引用数 144

ひとこと要約

本稿では、分布全体に変化が生じる場合（平均や分散の変化に限らない）でも、変化点の数と位置を一貫して推定できる、カーネルに基づく複数変化点検出アルゴリズム（KCP）を提案する。モデル選択に新規のペナルティを用いることで、ガウス分布性や定分散性を仮定しない有限標本における最適性を保証する非漸近的オラクル不等式を達成する。

ABSTRACT

We tackle the change-point problem with data belonging to a general set. We build a penalty for choosing the number of change-points in the kernel-based method of Harchaoui and Capp{é} (2007). This penalty generalizes the one proposed by Lebarbier (2005) for one-dimensional signals. We prove a non-asymptotic oracle inequality for the proposed method, thanks to a new concentration result for some function of Hilbert-space valued random variables. Experiments on synthetic data illustrate the accuracy of our method, showing that it can detect changes in the whole distribution of data, even when the mean and variance are constant.

研究の動機と目的

• 変化が平均や分散だけでなく分布全体に及ぶ可能性があるデータにおける複数変化点の検出という課題に対処すること。
• 既存手法が変化点数を事前に知っている必要がある、またはガウス分布性や定分散性を仮定しているという制限を克服すること。
• カーネル法を用いて、系列やグラフなどの複雑なデータタイプに対応可能な非パラメトリックでモデル選択に基づく手法を開発すること。
• 任意の標本サイズ（データ次元数未満であっても）で成り立つ有限標本の理論的保証（オラクル不等式）を提供すること。
• 理論的分析を支援するため、指数的尾部を持つヒルバート空間値の確率的ベクトルに対する新しい集中不等式を確立すること。

提案手法

• データを再生核ヒルバート空間（RKHS）にマップするカーネルベースのフレームワークを用い、カーネル埋め込みにより分布的変化を検出する。
• セグメント内の一貫性とモデルの複雑さのバランスを取るために、変化点数の選択にペナルティ基準を定義する。
• 平均の変化に特化したLebarbier（2005）のペナルティをカーネルベースの設定に一般化したペナルティ項を導入し、集中不等式に基づくものとする。
• 非漸近的オラクル不等式を適用し、提案手法のリスクが検討されたセグメンテーションクラスの中で最良のものに近いことを示す。
• 指数的尾部を持つ独立なヒルバート空間値のベクトルの和に対する新しい集中不等式を活用し、オラクル結果を導出する。
• 実験的カーネル行列とセグメント固有のカーネル平均を用い、セグメント内変動を計算し、候補となるセグメンテーション全体でペナルティ項を最小化する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの手法は、平均や分散が一定のまま分布全体に変化が生じる場合にも、それを検出できるか？
• RQ2 事前に変化点数を知らない状況でも、変化点の数と位置を一貫して推定できるモデル選択アプローチはどのように設計できるか？
• RQ3 ガウス分布性や定分散性を仮定しない有限標本において、非パラメトリックな変化点検出手法にどのような理論的保証を提供できるか？
• RQ4 ヒルバート空間値の確率的ベクトルに対する新しい集中不等式は、変化点検出における非漸近的オラクル不等式の支持に役立つか？
• RQ5 提案されたペナルティ項は、既存のペナルティ（例：Lebarbierのもの）をどのようにカーネルベースの非パラメトリック設定に一般化するか？

主な発見

• 提案されたKCP手法は、平均や分散が一定のままでも、合成データおよび実データを用いた実験で、分布全体の変化を正確に検出できることが示された。
• 非漸近的オラクル不等式を達成しており、任意の標本サイズにおいて、検討されたセグメンテーションクラスの中で最良のものに近い性能を示すことが保証されている。
• 理論的分析は、指数的尾部を持つヒルバート空間値の確率的ベクトルに対する新しい集中不等式に依拠しており、これは変化点検出をはるかに超えた一般性を持つ結果である。
• ペナルティ項は非漸近的解析に基づき導出されており、Lebarbier（2005）のペナルティをカーネルベースの設定に一般化し、変化点数が事前に分かっていなくてもモデル選択が可能になる。
• 実験では、生物学的データにおいて最先端の手法を上回る性能を示し、時系列データにおける相関の変化を、3つの非パラメトリック代替手法よりも効果的に検出できた。
• 正定値カーネルを定義できる限り、高次元または複雑なデータ（例：DNA配列、グラフ）に対しても、本手法は頑健である。