[论文解读] Active Hypothesis Testing for Quickest Anomaly Detection

Kobi Cohen, Qing Zhao|arXiv (Cornell University)|Mar 5, 2014

Anomaly Detection Techniques and Applications参考文献 28被引用 5

一句话总结

本文提出了一种确定性主动假设检验策略，称为确定性贪婪前向（DGF）策略，用于在M个过程中检测最快异常，其中每次只能观察K个过程。与随机化的Chernoff检验不同，DGF通过基于似然比贪婪选择最具信息量的单元，实现了显著更优的有限样本性能，同时保持渐近最优性，在误差约束下检测速度优于现有方法。

ABSTRACT

The problem of quickest detection of an anomalous process among M processes is considered. At each time, a subset of the processes can be observed, and the observations from each chosen process follow two different distributions, depending on whether the process is normal or abnormal. The objective is a sequential search strategy that minimizes the expected detection time subject to an error probability constraint. This problem can be considered as a special case of active hypothesis testing first considered by Chernoff in 1959 where a randomized strategy, referred to as the Chernoff test, was proposed and shown to be asymptotically (as the error probability approaches zero) optimal. For the special case considered in this paper, we show that a simple deterministic test achieves asymptotic optimality and offers better performance in the finite regime. We further extend the problem to the case where multiple anomalous processes are present. In particular, we examine the case where only an upper bound on the number of anomalous processes is known.

研究动机与目标

• 解决在误差概率受限条件下，从M个过程中最快检测出单个异常过程的问题。
• 设计一种序列搜索策略，通过在每个时间点动态选择观察K个单元，以最小化期望检测时间。
• 通过提出一种确定性替代方案，克服随机化Chernoff检验在有限样本范围内的局限性。
• 将框架扩展至存在多个异常过程的情形，包括仅已知其数量上界的情况。
• 建立理论上的渐近最优性，并展示所提策略在有限样本性能上的优越性。

提出的方法

• 提出确定性贪婪前向（DGF）策略，一种确定性选择规则，即在每个时间步选择似然比最高的K个单元。
• 利用两个假设（目标存在 vs. 不存在）之间的似然比，优先选择最能区分异常存在与不存在的单元。
• 通过证明DGF在误差概率趋近于零的极限下，达到与Chernoff检验相同的检测时间标度，从而建立其渐近最优性。
• 推导性能边界，并通过理论分析与数值仿真，将DGF与随机化Chernoff检验进行比较。
• 通过修改选择规则以考虑多个目标及其数量上界，将框架扩展至多个异常过程的情形。
• 引入一种计算高效的检测方案，以缓解高维设置下的性能退化。

实验结果

研究问题

• RQ1 在最快异常检测的背景下，确定性策略能否实现与随机化Chernoff检验相同的渐近最优性？
• RQ2 尽管是确定性的，所提出的DGF策略是否在有限样本范围内优于Chernoff检验？
• RQ3 当存在多个异常过程且仅知其数量上界时，主动假设检验的性能如何变化？
• RQ4 在某些假设对之间缺乏正的Kullback-Leibler散度时，对Chernoff检验的渐近最优性有何影响？
• RQ5 能否设计一种简单、低复杂度的策略，在保持渐近最优性的同时，显著提升有限样本检测速度？

主要发现

• DGF策略实现了渐近最优性，当误差概率趋近于零时，其检测时间标度与Chernoff检验一致。
• 在有限样本范围内，DGF策略显著优于随机化Chernoff检验，其确定性且贪婪的选择策略显著降低了期望检测时间。
• 即使在不满足标准假设（即所有假设对之间KL散度为正）的条件下，Chernoff检验仍保持渐近最优性，该假设在异常检测模型中成立。
• DGF策略在与Chernoff检验相同的最优条件下保持渐近最优性，但具有更优的有限样本性能。
• 对于多个异常过程，DGF框架可扩展至处理已知与未知异常数量的情形，且性能增益得以保持。
• 数值结果证实，与Chernoff检验相比，DGF显著缩短了检测时间，尤其在低误差和中等M值范围内。