[論文レビュー] Random Forests for Change Point Detection

Malte Londschien, Peter Bühlmann+1 more|arXiv (Cornell University)|May 10, 2022

Statistical Methods and Inference被引用数 16

ひとこと要約

この論文では、分類器の対数尤度比（特にランダムフォレストを用いて）を用いることで、多次元時系列における複数の構造的変化を検出する、非パラメトリックな新しい変化点検出手法であるchangeforestを提案する。計算的に効率的な2段階バイナリセグメンテーションアルゴリズムを用いることで、単一の変化点を一貫して検出でき、広範なシミュレーションにおいて既存の非パラメトリック手法を上回る性能を示す。

ABSTRACT

We propose a novel multivariate nonparametric multiple change point detection method using classifiers. We construct a classifier log-likelihood ratio that uses class probability predictions to compare different change point configurations. We propose a computationally feasible search method that is particularly well suited for random forests, denoted by changeforest. However, the method can be paired with any classifier that yields class probability predictions, which we illustrate by also using a k-nearest neighbor classifier. We prove that it consistently locates change points in single change point settings when paired with a consistent classifier. Our proposed method changeforest achieves improved empirical performance in an extensive simulation study compared to existing multivariate nonparametric change point detection methods. An efficient implementation of our method is made available for R, Python, and Rust users in the changeforest software package.

研究の動機と目的

• パラメトリックな分布形態の仮定をしない非パラメトリックで多次元の変化点検出手法の開発を目的とする。
• 従来のパラメトリック手法が失敗する高次元で複雑なデータ構造における複数の変化点の検出という課題に対処することを目的とする。
• 特にランダムフォレストを含む現代の機械学習分類器を活用し、頑健で柔軟な変化点推定を実現することを目的とする。
• 大規模な時系列データに対して計算効率的でスケーラブルであることを目的とする。
• 弱い正則性条件の下で一貫性のある検出特性を有する理論的根拠と実証的妥当性を持つ手法を提供することを目的とする。

提案手法

• 訓練済み分類器のクラス確率予測を用いて、変化点の配置を比較するための分類器の対数尤度比を構築する。
• 1つの変化点あたり定数個の分類器のフィットを要する2段階バイナリセグメンテーションアルゴリズムを採用し、変化点数に対して線形スケーリングを実現する。
• クラス確率を出力する任意の分類器と互換性を持つように設計されており、ランダムフォレストやk近傍法を含む。
• 有意水準のしきい値に基づくモデル選択手順を用いて誤検出を制御するが、完全なパーミュテーション検定ではない。
• R、Python、Rust向けのオープンソースパッケージであるchangeforestとして実装されており、広範な利用可能性とスケーラビリティを実現する。
• 系列相関のあるデータに対しては、時系列依存構造を保つために遅れ付きの観測値を特徴量として含めることで拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 一貫性のある分類器を用いた分類器ベースの非パラメトリック枠組みは、母集団設定下で単一の変化点を一貫して検出できるか？
• RQ2 本手法の性能は、多様なデータタイプや次元数において、既存の非パラメトリック変化点検出手法と比較してどのように異なるか？
• RQ3 特に大規模または高次元の設定下において、複数の変化点を検出する際の計算効率はどの程度か？
• RQ4 本手法は、重尾分布や非正規分布の周辺分布、共分散構造の変化に対してどの程度頑健か？
• RQ5 遅延特徴量を組み込むことで系列相関を持つ時系列に対応可能か？その場合、検出精度に悪影響を及げないか？

主な発見

• 一貫性のあるクラス確率推定を提供する分類器と組み合わせたchangeforestアルゴリズムは、母集団設定下で単一の変化点を一貫して検出する。理論的証明がなされている。
• シミュレーション研究において、KCP、MultiRank、ECPといった既存の非パラメトリック手法を上回り、全テストデータセットで検出精度とF1スコアの両面で優れた性能を示した。
• 変化点のないデータセットにおいて、誤検出率は安定しており、それぞれirisで3.36%、glassで3.76%、乳癌データで3.00%を記録し、均一性下での信頼性ある制御を示している。
• 計算時間はサンプルサイズに対してほぼ線形にスケーリングされ、大規模データセットへの効率的な検出が可能である。
• k近傍法バージョン（changekNN）は、誤検出率が高くなる傾向にあり（乳癌データで最大29.8%）、本手法のコアアルゴリズムにランダムフォレストを用いる利点を強調している。
• changeforestソフトウェアパッケージはR、Python、Rust向けに公開されており、GitHub経由でオープンアクセスで利用可能で、再現性と広範な採用を支援している。