[논문 리뷰] Anomaly Detection with Score functions based on Nearest Neighbor Graphs

Manqi Zhao, Venkatesh Saligrama|ArXiv.org|2009. 10. 28.

Anomaly Detection Techniques and Applications참고 문헌 17인용 수 80

한 줄 요약

이 논문은 명목형 데이터에서 K-최근접 이웃 그래프(K-NNG)로부터 유도된 스코어 함수를 사용하는 비모수적 이상 탐지 알고리즘을 제안한다. 각 테스트 포인트를 포함하는 최소 부피(MV) 수준 집합의 부피를 추정함으로써, 조건부로 최적의 탐지 성능를 달성하고, 가짜 경고 제어가 가능하며, 차원에 대해 선형으로, 데이터 크기에 대해 제곱형으로 확장되며, 튜닝 파rameter나 밀도 가정 없이 작동한다.

ABSTRACT

We propose a novel non-parametric adaptive anomaly detection algorithm for high dimensional data based on score functions derived from nearest neighbor graphs on $n$-point nominal data. Anomalies are declared whenever the score of a test sample falls below $α$, which is supposed to be the desired false alarm level. The resulting anomaly detector is shown to be asymptotically optimal in that it is uniformly most powerful for the specified false alarm level, $α$, for the case when the anomaly density is a mixture of the nominal and a known density. Our algorithm is computationally efficient, being linear in dimension and quadratic in data size. It does not require choosing complicated tuning parameters or function approximation classes and it can adapt to local structure such as local change in dimensionality. We demonstrate the algorithm on both artificial and real data sets in high dimensional feature spaces.

연구 동기 및 목표

• 고차원 공간에서 밀도 가정 없이 국소 데이터 구조에 적응하는 비모수적 이상 탐지 방법을 개발하는 것.
• 복잡한 튜닝 파rameter나 함수 근사 클래스에 의존하는 기존 방법의 계산 효율성이 높은 대안을 제공하는 것.
• 스코어 함수를 최소 부피(MV) 집합과 다변량 p-값에 연결함으로써, 증명 가능 최적의 탐지 성능를 달성하는 것.
• 고차원 수준 집합을 직접 계산하지 않고도 원하는 수준 α에서 정확한 가짜 경고 비율 제어를 하는 것.
• 실제 및 합성 데이터에서 다양한 국소 차원성과 다양체 구조에 대해 강건하고 적응 가능한 성능를 보여주는 것.

제안 방법

• 국소 이웃 구조를 캡처하기 위해 명목형 훈련 데이터에 K-최근접 이웃 그래프(K-NNG)를 구축한다.
• 각 테스트 포인트에 대해 그를 포함하는 최소 부피(MV) 수준 집합의 부피를 경험적으로 추정하는 스코어 함수를 정의한다.
• K-NN 그래프를 사용해 MV 집합의 부피를 간접적으로 계산함으로써 고차원 수준 집합의 직접 계산을 피한다.
• 스코어 함수를 이용해 이상 탐지: 임계값 α 이하의 스코어를 가진 테스트 포인트는 이상으로 분류한다.
• 계산 확장성을 확보하기 위해 MV 집합 부피를 효율적으로 추정하기 위해 리브-원-아웃 전략을 활용한다.
• 고차원 데이터에서 내재된 다양체 구조를 더 잘 캡처하기 위해 지오데식 거리를 사용한다.

실험 결과

연구 질문

• RQ1 지정된 가짜 경고 수준 α에 대해 비모수적 가정 없이 균일하게 가장 강력한 탐지 성능를 달성할 수 있는 비모수적 이상 탐지 방법을 설계할 수 있는가?
• RQ2 직접 수준 집합을 계산하지 않고도 고차원 공간에서 최소 부피(MV) 수준 집합의 부피를 효율적으로 추정할 수 있는가?
• RQ3 K-NNG 기반 스코어 함수가 진정한 다변량 p-값을 어느 정도 근사할 수 있으며, 최적의 통계적 검정력 보장을 할 수 있는가?
• RQ4 실세계 데이터에서 국소 차원성과 내재된 다양체 구조의 변화에 어떻게 적응하는가?
• RQ5 기존 방법(예: one-class SVM 또는 K-NN)에 비해 가짜 경고 제어 및 계산 효율성 측면에서 성능가 우월한가?

주요 결과

• 제안된 K-LPE(K-최근접 이웃 기반 국소 p-값 추정) 알고리즘이 작은 훈련 집합(n=160)에서도 클레르바이언트 최적 ROC 곡선과 매우 가까운 ROC 곡선을 달성하여 강력한 경험적 성능를 보였다.
• USPS 데이터셋에서 α=0.5일 때, 가짜 양성률(FP) 6.1%와 가짜 경고율(FA) 5.7%를 기록했으며, 비교 조건에서 OC-SVM(FP=7%, FA=9%)를 능가했다.
• 알고리즘이 차원에 대해 선형으로, 데이터 크기에 대해 제곱형으로 확장되어 고차원 특징 공간에 적합하다.
• 스코어 함수는 渐近적으로 일致성 있으며, 표본 크기가 증가함에 따라 진정한 다변량 p-값으로 수렴한다.
• 커널 폭이나 함수 근사 클래스와 같은 튜닝 파rameter가 필요 없어 구현이 간편하다.
• K ≈ n^{2/5}는 다양한 차원에서 강력한 경험 법칙이 되며, K-LPE 버전이 ε-LPE보다 더 실용적이다.