[論文レビュー] Active Hypothesis Testing for Quickest Anomaly Detection

Kobi Cohen, Qing Zhao|arXiv (Cornell University)|Mar 5, 2014

Anomaly Detection Techniques and Applications参考文献 28被引用数 5

ひとこと要約

本稿では、M 個のプロセスのうち1つだけが異常である場合の素早い異常検出を目的とし、同時に観測可能なのはK個のプロセスに限られるという制約のもとで、決定的アクティブ仮説検定ポリシーである Deterministic Greedy Forward (DGF) ポリシーを提案する。ランダム化されたChernoff検定とは異なり、DGFは尤度比に基づいて情報量が最も高いセルを貪欲に選択することで、有限標本下での性能を著しく向上させつつ、漸近的最適性を達成する。この結果、誤差制約下でも既存の手法を上回る検出速度を実現する。

ABSTRACT

The problem of quickest detection of an anomalous process among M processes is considered. At each time, a subset of the processes can be observed, and the observations from each chosen process follow two different distributions, depending on whether the process is normal or abnormal. The objective is a sequential search strategy that minimizes the expected detection time subject to an error probability constraint. This problem can be considered as a special case of active hypothesis testing first considered by Chernoff in 1959 where a randomized strategy, referred to as the Chernoff test, was proposed and shown to be asymptotically (as the error probability approaches zero) optimal. For the special case considered in this paper, we show that a simple deterministic test achieves asymptotic optimality and offers better performance in the finite regime. We further extend the problem to the case where multiple anomalous processes are present. In particular, we examine the case where only an upper bound on the number of anomalous processes is known.

研究の動機と目的

• 誤差確率に制約を受ける中で、M 個のプロセスのうち1つの異常プロセスを素早く検出する問題に対処すること。
• 各時刻におけるK個のセルを選択する動的戦略を設計し、期待検出時間を最小化すること。
• ランダム化Chernoff検定の有限標本下での限界を克服するため、決定的代替手法を提案すること。
• 複数の異常プロセスが存在する場合、特にその数の上界が既知である場合の枠組みへの拡張。
• 提案ポリシーの理論的漸近的最適性を確立し、有限標本下での優れた性能を示すこと。

提案手法

• 各時刻で尤度比が最大のK個のセルを選択する決定的選択ルールである Deterministic Greedy Forward (DGF) ポリシーを提案する。
• 異常 Presence と Absence の2つの仮説間の尤度比を用いて、異常存在の有無を最も明確に区別できるセルを優先的に選択する。
• 誤差確率が0に近づく極限において、Chernoff検定と同等の検出時間スケーリングを達成することにより、DGFの漸近的最適性を確立する。
• 性能の上限を理論的に導出し、理論的解析と数値シミュレーションを通じてDGFとランダム化Chernoff検定を比較する。
• 複数の異常プロセスを扱うために、選択ルールを変更し、複数のターゲットおよびその数の上界を考慮する。
• 高次元設定における性能劣化を軽減する計算効率の良い検出方式を導入する。

実験結果

リサーチクエスチョン

• RQ1 素早い異常検出の文脈において、決定的ポリシーはランダム化Chernoff検定と同等の漸近的最適性を達成できるか？
• RQ2 決定的であるにもかかわらず、有限標本下でDGFポリシーはChernoff検定を上回る性能を示せるか？
• RQ3 複数の異常プロセスが存在し、その数の上界しか分からない場合、アクティブ仮説検定の性能はどのように変化するか？
• RQ4 特定の仮説ペair間で正のKullback-Leibler発散が成立しない場合、この設定下でのChernoff検定の漸近的最適性にどのような影響を与えるか？
• RQ5 低複雑性でありながら、漸近的最適性を維持し、かつ有限標本下での検出速度を著しく向上できる単純なポリシーを設計可能か？

主な発見

• DGFポリシーは漸近的最適性を達成し、誤差確率が0に近づく極限でChernoff検定と同等の検出時間スケーリングを実現する。
• 有限標本下では、DGFポリシーはランダム化Chernoff検定を著しく上回り、決定的かつ貪欲な選択戦略のおかげで期待検出時間を短縮する。
• Chernoff検定は、標準的な仮定であるすべての仮説ペair間で正のKL発散が成立する必要がない場合でも、依然として漸近的最適性を保つ。
• Chernoff検定が最適となるのと同じ条件下で、DGFポリシーは漸近的最適性を維持するが、有限標本下での性能が向上する。
• 複数の異常プロセスの状況では、DGFフレームワークは、異常数が既知または未知の両方の状況に対応可能であり、性能の向上が維持される。
• 数値結果により、DGFはChernoff検定と比較して検出時間を短縮することが確認され、特に低誤差および中程度のM値の範囲で顕著である。