[논문 리뷰] Active Hypothesis Testing for Quickest Anomaly Detection

Kobi Cohen, Qing Zhao|arXiv (Cornell University)|2014. 03. 05.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 M개의 프로세스 중에서 한 번에 K개만 관찰할 수 있는 조건에서 빠른 이상 탐지에 적합한 결정적 활성 가설 검증 정책인 Deterministic Greedy Forward(DGF) 정책을 제안한다. 랜덤화된 Chernoff 검증과는 달리, DGF는 가능도 비율을 기반으로 가장 정보량이 많은 셀을 탐욕적으로 선택함으로써 유한 샘플 성능을 크게 향상시키며, 오차 제약 조건 하에서 기존 방법보다 빠른 탐지 속도를 달성한다.

ABSTRACT

The problem of quickest detection of an anomalous process among M processes is considered. At each time, a subset of the processes can be observed, and the observations from each chosen process follow two different distributions, depending on whether the process is normal or abnormal. The objective is a sequential search strategy that minimizes the expected detection time subject to an error probability constraint. This problem can be considered as a special case of active hypothesis testing first considered by Chernoff in 1959 where a randomized strategy, referred to as the Chernoff test, was proposed and shown to be asymptotically (as the error probability approaches zero) optimal. For the special case considered in this paper, we show that a simple deterministic test achieves asymptotic optimality and offers better performance in the finite regime. We further extend the problem to the case where multiple anomalous processes are present. In particular, we examine the case where only an upper bound on the number of anomalous processes is known.

연구 동기 및 목표

• 오차 확률에 제약이 있는 조건에서 M개의 프로세스 중 단 하나의 이상 프로세스를 가장 빨리 탐지하는 문제를 다루는 것.
• 각 시점에서 관찰할 K개의 셀을 동적으로 선택함으로써 기대 탐지 시간을 최소화하는 순차적 탐색 전략을 개발하는 것.
• 랜덤화된 Chernoff 검증이 유한 샘플 영역에서 가지는 한계를 극복하기 위해 결정적 대안을 제안하는 것.
• 이상 프로세스가 다수 존재할 경우, 즉 그 수의 상한선만 알려진 경우에도 프레임워크를 확장하는 것.
• 제안된 정책의 이론적 점근적 최적성과 뛰어난 유한 샘플 성능을 입증하는 것.

제안 방법

• 각 시점에서 가능도 비율이 가장 높은 K개의 셀을 선택하는 결정적 선택 규칙인 Deterministic Greedy Forward(DGF) 정책을 제안한다.
• 이상이 존재하는지 여부를 가장 명확히 구분할 수 있는 셀을 우선순위로 정하기 위해 두 가설(대상 존재 대비 부재) 간의 가능도 비율을 사용한다.
• 오차 확률이 점차 감소할 때, Chernoff 검증과 동일한 탐지 시간 스케일링을 달성함으로써 DGF의 점근적 최적성을 입증한다.
• 성능 한계를 이론적으로 유도하고, 이론적 분석 및 수치 시뮬레이션을 통해 DGF와 랜덤화된 Chernoff 검증을 비교한다.
• 다중 이상 프로세스를 고려하기 위해 선택 규칙을 수정하여 이상 프로세스의 수와 그 상한선을 고려한 프레임워크를 확장한다.
• 고차원 환경에서 성능 저하를 완화하기 위해 계산 효율성이 높은 탐지 기법을 도입한다.

실험 결과

연구 질문

• RQ1 결정적 정책이 빠른 이상 탐지 맥락에서 랜덤화된 Chernoff 검증과 동일한 점근적 최적성을 달성할 수 있는가?
• RQ2 비록 결정적임에도 불구하고, DGF 정책이 유한 샘플 영역에서 Chernoff 검증을 능가하는가?
• RQ3 다수의 이상 프로세스가 존재하고, 그 수의 상한선만 알려진 경우, 활성 가설 검증의 성능은 어떻게 변화하는가?
• RQ4 일부 가설 쌍 간에 양의 Kullback-Leibler 발산이 존재하지 않는다는 점이 이 설정에서 Chernoff 검증의 점근적 최적성에 어떤 영향을 미치는가?
• RQ5 간단하고 저비용의 정책을 설계할 수 있는가? 이 정책은 점근적 최적성을 유지하면서도 뚜렷이 향상된 유한 샘플 탐지 속도를 확보할 수 있는가?

주요 결과

• DGF 정책는 오차 확률이 0에 수렴할 때, Chernoff 검증과 동일한 탐지 시간 스케일링을 달성하며 점근적 최적성을 확보한다.
• 유한 샘플 영역에서는 DGF 정책가 랜덤화된 Chernoff 검증보다 뚜렷이 뛰어나며, 결정적이고 탐욕적인 선택 전략 덕분에 기대 탐지 시간을 단축시킨다.
• Chernoff 검증은 표준 가정인 모든 가설 쌍 간에 양의 KL 발산이 존재한다는 조건이 성립하지 않더라도 여전히 점근적 최적성을 유지한다. 이는 이상 탐지 모델에서 성립한다.
• Chernoff 검증이 최적성이 보장되는 동일한 조건 하에서도 DGF 정책는 점근적 최적성을 유지하면서도 더 뛰어난 유한 샘플 성능을 확보한다.
• 다수의 이상 프로세스가 존재하는 경우, DGF 프레임워크는 이상 수가 알려져 있거나 알려지지 않은 경우에도 확장 가능하며, 성능 향상 효과가 유지된다.
• 수치 결과는 DGF가 특히 낮은 오차율 및 중간 크기의 M 영역에서 Chernoff 검증보다 탐지 시간을 줄임을 확인한다.