[논문 리뷰] A Bayesian Ensemble for Unsupervised Anomaly Detection

Edward H. Yu, Parth J. Parekh|arXiv (Cornell University)|2016. 10. 24.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 베이지안 앙상블 방법을 제안하여 비지도 이상 탐지에서 다수의 이상 탐지기들을 베이지안 분류기 조합을 통해 통합함으로써 이상 사건에 대한 해석 가능한 사후 확률, 개별 탐지기의 오차율, 그리고 신뢰할 수 없는 탐지기들에 대한 강건성을 확보한다. 이 방법은 실세계 시계열 데이터에서 다수결 투표보다 28.7% 낮은 오차율을 달성한다.

ABSTRACT

Methods for unsupervised anomaly detection suffer from the fact that the data is unlabeled, making it difficult to assess the optimality of detection algorithms. Ensemble learning has shown exceptional results in classification and clustering problems, but has not seen as much research in the context of outlier detection. Existing methods focus on combining output scores of individual detectors, but this leads to outputs that are not easily interpretable. In this paper, we introduce a theoretical foundation for combining individual detectors with Bayesian classifier combination. Not only are posterior distributions easily interpreted as the probability distribution of anomalies, but bias, variance, and individual error rates of detectors are all easily obtained. Performance on real-world datasets shows high accuracy across varied types of time series data.

연구 동기 및 목표

• 기존의 비지도 이상 탐지 앙상블 방법에서의 해석 가능성 부족과 이론적 기반 부족 문제를 해결하기 위해.
• 라벨이 없는 데이터로도 개별 탐지기의 편향, 분산 및 오차율을 추정할 수 있도록 하기 위해.
• 어떤 탐지기가 신뢰할 수 없거나 정확도가 떨어지더라도 정확도를 유지할 수 있는 강건한 앙상블을 개발하기 위해.
• 이상 탐지 출력을 확률 분포로 조합하기 위한 원칙적인 베이지안 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 진짜 이상 상태와 탐지기 오차율을 공액 사전을 가진 잠재 변수로 모델링하여 진짜 레이블과 개별 탐지기의 혼동 행렬을 함께 추정하는 베이지안 분류기 조합을 활용한다.
• 변분 베이지안 추론을 사용하여 진짜 레이블과 개별 탐지기의 혼동 행렬의 사후 분포를 동시에 추정한다.
• 모델은 모든 탐지기의 불확실성을 고려하여 데이터 포인트가 이상임에 대한 사후 확률을 추정한다.
• 베타 사전분포의 초모수는 추정된 오차율과 진짜 레이블 확률의 경험적 평균과 분산을 반영하도록 설정된다.
• 기대값 최대화 유사 알고리즘을 사용하여 탐지기 정확도와 진짜 레이블의 추정치를 반복적으로 업데이트한다.
• 최종 이상 결정은 이상 확률의 사후 평균 기반으로 이루어지며, 이는 신뢰도 점수로 해석 가능하다.

실험 결과

연구 질문

• RQ1 베이지안 앙상블 프레임워크는 비지도 이상 탐지에서 해석 가능성과 이론적 엄밀성을 향상시킬 수 있는가?
• RQ2 라벨이 없는 데이터로도 개별 탐지기의 오차율, 편향, 분산을 신뢰성 있게 추정할 수 있는가?
• RQ3 어떤 탐지기가 매우 정확도가 떨어지거나 무작위일 경우 앙상블의 성능은 어떻게 되는가?
• RQ4 신뢰할 수 없는 탐지기가 포함되어도 앙상블은 높은 정확도를 유지할 수 있는가?

주요 결과

• 베이지안 앙상블은 실세계의 Yahoo! 트래픽 데이터에서 1.76%의 오차율을 기록하여, 다음으로 우수한 방법인 다수결 투표보다 28.7% 낮은 오차율을 달성했다.
• 모델은 585개의 참 양성과 오직 586개의 참 음성으로 다수결 투표가 기록한 1,137개의 참 음성보다 우수한 성능을 보였다.
• 50% 정확도를 가진 무작위 탐지기를 도입한 경우, 베이지안 앙상블은 동일한 오차율(0.176%)을 유지했지만, 다수결 투표의 오차율은 179% 증가했다.
• 사후 분포는 무작위 탐지기의 참 양성률이 0.522임을 확인하여 이 탐지기가 신뢰할 수 없음을 식별하고 가중치를 낮춘 것으로 나타났다.
• 모델은 이상 사건의 사후 확률과 개별 탐지기 오차율을 포함한 해석 가능한 출력을 제공하여 세부적인 성능 분석이 가능했다.