[논문 리뷰] Sparse Representation of Multivariate Extremes with Applications to Anomaly Ranking

Nicolas Goix, Anne Sabourin외 1명|arXiv (Cornell University)|2016. 03. 31.

Anomaly Detection Techniques and Applications인용 수 14

한 줄 요약

이 논문은 다변량 극값 이론을 활용하여 극단 관측치가 집중하는 부분공간을 식별함으로써 다변량 극단의 희소하고 저차원의 표현을 학습하는 새로운 비모수적 비지도 이상치 순위 매기기 방법인 DAMEX를 제안한다. DAMEX는 극단 방향에 대한 비모수적 군집화와 각도 측도를 활용하여 이상 탐지 정밀도를 향상시키며, 특히 낮은 위양성 비율에서 성능 향상을 이룬다. 이는 모수적 꼬리 모델을 가정하지 않으며, iForest와 같은 기존 이상 탐지 알고리즘과 효과적으로 통합된다.

ABSTRACT

Extremes play a special role in Anomaly Detection. Beyond inference and simulation purposes, probabilistic tools borrowed from Extreme Value Theory (EVT), such as the angular measure, can also be used to design novel statistical learning methods for Anomaly Detection/ranking. This paper proposes a new algorithm based on multivariate EVT to learn how to rank observations in a high dimensional space with respect to their degree of 'abnormality'. The procedure relies on an original dimension-reduction technique in the extreme domain that possibly produces a sparse representation of multivariate extremes and allows to gain insight into the dependence structure thereof, escaping the curse of dimensionality. The representation output by the unsupervised methodology we propose here can be combined with any Anomaly Detection technique tailored to non-extreme data. As it performs linearly with the dimension and almost linearly in the data (in O(dn log n)), it fits to large scale problems. The approach in this paper is novel in that EVT has never been used in its multivariate version in the field of Anomaly Detection. Illustrative experimental results provide strong empirical evidence of the relevance of our approach.

연구 동기 및 목표

• 고차원 데이터에 대한 다변량 극값 이론(EVT)의 이상 탐지 응용 부족 문제를 해결한다.
• 극단 관측치를 지지하는 저차원 부분공간을 식별하여 다변량 극단을 모델링할 때 발생하는 차원의 극복 문제를 해결한다.
• 이상치 비율이 낮은 데이터셋을 다룰 수 있도록 과적합을 방지하는 강력한 비모수적 방법을 개발한다.
• 관측치 간의 의존성 구조를 기반으로 한 다변량 극단의 희소 '정상 프로파일'을 학습하여 기존 이상 탐지 알고리즘의 정밀도를 향상시킨다.
• EVT와 차원 축소 및 희소 표현을 조합하여 대규모 고차원 데이터셋에서 효과적인 이상치 순위 매기기를 가능하게 한다.

제안 방법

• 다변량 초과 임계값(POT) 모델링을 적용하여 L-infinity 노름 기반 임계값 설정을 통해 극단 관측치를 식별한다: $\|\mathbf{X}\|_\infty \geq \mathbf{u}$.
• 극단 영역 내 단위 벡터의 비모수적 군집화를 통해 극단 방향의 각도 측도를 추정하여 주요 부분공간을 식별한다.
• 특히 비지도 설정에서 학습 데이터에 이상치가 포함될 수 있는 상황에서 과적합을 방지하기 위해 거친, 강력한 추정 기법을 사용한다.
• 다수의 극단 데이터 질량을 포괄하는 저차원 부분원뿔(부분공간)을 식별함으로써 다변량 극단의 희소 표현을 학습한다.
• 결과로 도출된 희소 표현을 점수 함수로 통합하여 새로운 관측치의 극단성에 따라 순위를 매기며, 이는 어떤 기반 이상 탐지 알고리즘과도 통합 가능하다.
• 매개변수 $k$와 $\epsilon$는 각각 $[n^{1/4}, n^{2/3}]$ 및 $[0.0001, 0.1]$ 범위에서 안정성 분 析를 통해 최적화하며, $\mu_{\min}$은 비어 있지 않은 부분원뿔당 평균 질량으로 설정된다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 다변량 극값 이론을 효과적으로 활용하여 다변량 극단의 희소하고 저차원의 표현을 학습할 수 있는가?
• RQ2 특히 차원이 높을 경우, 모수적 형태를 가정하지 않고 극단 관측치의 의존성 구조를 어떻게 복원할 수 있는가?
• RQ3 극단의 희소 '정상 프로파일'을 학습하는 것이 지도 및 비지도 설정에서 이상 탐지 알고리즘의 정밀도를 어느 정도 향상시키는가?
• RQ4 이상치 비율이 낮고 고차원 노이즈가 많은 상황에서, 특히 위양성이 비용이 많이 드는 경우 이 방법의 성능은 어떻게 되는가?
• RQ5 학습 세트에 이상치 비율이 낮게 포함된 데이터셋을 다룰 때 성능 저하 없이 이 방법이 강건하게 작동할 수 있는가?

주요 결과

• DAMEX는 다양한 데이터셋에서 기준점 근처에서 더 급격한 ROC 곡선을 보이며, 특히 높은 재현율(낮은 위양성 비율)에서 이상치 순위 매기기 정밀도를 크게 향상시킨다.
• Shuttle 데이터셋에서 DAMEX는 AUC-ROC를 0.996에서 0.997로, AUC-PR을 0.974에서 0.987로 향상시켜 일관된 개선을 보였다.
• Forestcover 데이터셋에서 DAMEX는 AUC-PR을 0.193에서 0.363으로 상승시켜 이상치 비율이 0.9%로 낮은 상황에서도 정밀도 향상이 뚜렷했다.
• SF 데이터셋에서 DAMEX는 AUC-PR을 0.041에서 0.694로 상승시켜 고차원 실세계 침입 탐지 시나리오에서 뛰어난 성능을 보였다.
• SA 데이터셋에서 DAMEX는 AUC-PR을 0.387에서 0.892로 상승시켜 1% 이상치 비율과 복잡한 의존성 구조가 존재하는 상황에서의 효과성을 입증했다.
• SMTP 데이터셋에서는 성능 향상이 이루어지지 않았으며, 이는 정규적으로 수렴하는 규칙적 변화 尾 꼬리가 존재하지 않거나 느리게 수렴하기 때문일 것으로 추정되며, 이는 극단적 의존성이 없거나 약할 경우의 한계를 시사한다.