[論文レビュー] Inductive Conformal Martingales for Change-Point Detection

Denis Volkhonskiy, Ilia Nouretdinov+3 more|arXiv (Cornell University)|Jun 11, 2017

Advanced Statistical Process Monitoring参考文献 15被引用数 27

ひとこと要約

本稿では、交換可能性の仮定に基づき、事前および事後変化分布が既知でない非パラメトリックなデータストリームにおける変化点検出のための誘導的コンフォーマルマルティングール（ICMs）を提案する。同手法は、適合性測度とベッティング関数を用いて、分布シフトを検出するが、事前および事後分布のパラメトリックモデルを仮定しない。最小限のi.i.d.仮定のもとでも、CUSUM や Shiryaev-Roberts といった最適なパラメトリック検出器と同等の検出性能を達成しており、最小限のチューニングで実世界の状況においても頑健で効率的であることが示された。

ABSTRACT

We consider the problem of quickest change-point detection in data streams. Classical change-point detection procedures, such as CUSUM, Shiryaev-Roberts and Posterior Probability statistics, are optimal only if the change-point model is known, which is an unrealistic assumption in typical applied problems. Instead we propose a new method for change-point detection based on Inductive Conformal Martingales, which requires only the independence and identical distribution of observations. We compare the proposed approach to standard methods, as well as to change-point detection oracles, which model a typical practical situation when we have only imprecise (albeit parametric) information about pre- and post-change data distributions. Results of comparison provide evidence that change-point detection based on Inductive Conformal Martingales is an efficient tool, capable to work under quite general conditions unlike traditional approaches.

研究の動機と目的

• 事前および事後変化分布の事前知識を必要としない非パラメトリックな変化点検出手法の開発を目的とする。
• CUSUM や Shiryaev-Roberts、事後確率統計といった古典的なパラメトリックな変化点検出器と比較して、ICMs の性能を評価することを目的とする。
• データ分布の一部のパラメトリック知識を持つ変化点検出オラクルと比較して、ICMs の性能を評価することを目的とする。
• ICMに基づく変化点検出において最も効果的な適合性測度とベッティング関数の組み合わせを同定することを目的とする。
• ICMs が、1次元および多次元の設定を含む多様なデータストリーム条件下で、頑健で一般化可能であることを示すこと

提案手法

• ICMs は、交換可能性のもとでの観測値の奇妙さを反映するp値を計算するための適合性測度を用いて構築される。
• ベッティング関数によりp値がマルティングール値に変換され、増加する値は潜在的な変化点を示唆する。
• 誘導的アプローチにより、学習段階と予測段階が分離され、i.i.d.仮定のもとで計算効率と妥当性が向上する。
• 検出効率を評価するために、事前に計算されたカーネル密度およびkNNベースのベッティング関数が評価された。
• 同手法は、i.i.d.仮定が破られる際に発散する交換可能性マルティングールに依存しており、これは変化点を示している。
• 分布シフトへの感受性を評価するために、平均ベースおよびカーネルベースの非適合スコアを含む複数の適合性測度がテストされた。

実験結果

リサーチクエスチョン

• RQ1 誘導的コンフォーマルマルティングール（ICMs）は、事前および事後変化分布のパラメトリックモデルを仮定せずに、変化点を効果的に検出できるか？
• RQ2 同一の誤報率のもとで、ICMs の性能は CUSUM や Shiryaev-Roberts といった古典的なパラメトリックな変化点検出器と比べてどの程度か？
• RQ3 分布パラメータの一部の知識を持つ変化点検出オラクルと比較して、ICMs はどの程度の性能を示すか？
• RQ4 適合性測度とベッティング関数のどの組み合わせが、平均遅延の観点で最も効率的か？
• RQ5 シミュレーテッドi.i.d.データストリームにおける変化点の位置や大きさの変化に対して、ICMs はどの程度頑健か？

主な発見

• 事前に計算されたカーネル密度ベッティング関数を用いたICMsは、最適な検出器と同等の平均検出遅延を達成した。変化点がθ=100、μ₁=1に位置する場合、5%の誤報率のもとで平均遅延は15.20であった。
• θ=100、μ₁=1の条件下で、kNNベースのベッティング関数を用いたICMsの平均遅延は34.41であったが、これはオラクルの10.08よりも顕著に高く、特定の設定における改善の余地があることを示唆している。
• θ=200、μ₁=1.5の条件下で、LRベースのベッティング関数を用いたICMsの平均遅延は7.24であったのに対し、オラクルは4.92であった。これは、中程度のシフト条件下でも優れた性能を示している。
• 混合ベッティング関数は、全テスト済みのベッティング関数の中で最も検出効率が低く、ICMベースの手法に比べて劣っていた。
• 分布に依存しない手法であり、仮定も少なくても、ICMs は全テストシナリオにおいて、CUSUM や Shiryaev-Roberts といった最適なパラメトリック手法の平均遅延の10〜20%以内に収まった。
• 結果から、ICMs は、完全なパラメトリック知識が得られない実用的状況において、実用的で頑健な代替手法であることが示された。