[논문 리뷰] Bayesian Anomaly Detection and Classification

Ethan Roberts, Bruce A. Bassett외 1명|arXiv (Cornell University)|2019. 02. 22.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 11

한 줄 요약

이 논문은 측정 불확실성을 철저히 반영하면서 분류와 이상 탐지의 두 작업을 동시에 수행하는 계층적 베이지안 프레임워크인 베이지안 이상 탐지 및 분류(BADAC)를 소개한다. 노이즈 모델이 알려져 있을 경우, BADAC는 표준 알고리즘을 능가하며 잘 校정된 확률을 생성하고, 모델 오류 또는 상관관계가 있는 노이즈 상황에서도 강건한 이상 탐지가 가능하다.

ABSTRACT

Statistical uncertainties are rarely incorporated in machine learning algorithms, especially for anomaly detection. Here we present the Bayesian Anomaly Detection And Classification (BADAC) formalism, which provides a unified statistical approach to classification and anomaly detection within a hierarchical Bayesian framework. BADAC deals with uncertainties by marginalising over the unknown, true, value of the data. Using simulated data with Gaussian noise, BADAC is shown to be superior to standard algorithms in both classification and anomaly detection performance in the presence of uncertainties, though with significantly increased computational cost. Additionally, BADAC provides well-calibrated classification probabilities, valuable for use in scientific pipelines. We show that BADAC can work in online mode and is fairly robust to model errors, which can be diagnosed through model-selection methods. In addition it can perform unsupervised new class detection and can naturally be extended to search for anomalous subsets of data. BADAC is therefore ideal where computational cost is not a limiting factor and statistical rigour is important. We discuss approximations to speed up BADAC, such as the use of Gaussian processes, and finally introduce a new metric, the Rank-Weighted Score (RWS), that is particularly suited to evaluating the ability of algorithms to detect anomalies.

연구 동기 및 목표

• 측정 불확실성을 데이터에 반영하는 통계적으로 엄밀한 방법을 개발하여 동시에 분류와 이상 탐지를 수행하는 것.
• 과학적 분석 파이프라인에서 불확실성 전파가 요구되는 데 적합한 잘 校정된 분류 확률을 생성하는 것.
• 사전 레이블링 없이 새로운 또는 이상적인 클래스를 탐지할 수 있도록 지원하는 비지도 이상 탐지 기능을 제공하는 것.
• 기존 방법들이 내부 클래스 변동성을 忽略하거나 데이터 불확실성을 적절히 모델링하지 못하는 한계를 해결하는 것.
• 모델 오류 상황에서도 강건성을 유지하고, 모델 선택 기법을 통해 이러한 오류를 진단할 수 있는 프레임워크를 제공하는 것.

제안 방법

• BADAC는 클래스 조건부 우도를 원시 데이터 기반으로 정의하는 계층적 베이지안 모델을 사용하며, 알려진 노이즈 분포를 이용해 알려지지 않은 진짜 값에 대해 적분하여 마진화한다.
• 측정 불확실성을 반영하여 관측된 데이터의 모든 가능한 진짜 값에 대해 통합함으로써, 분류 소속의 사후 확률과 이상도 점수를 계산한다.
• 가우시안 노이즈 모델 기반의 우도 함수를 사용하며, 상관관계가 있는 오차 및 이동 이격 등의 부가 매개변수를 다루기 위한 확장도 가능하다.
• 이상 객체는 모든 알려진 클래스 외부에 있을 가능성의 사후 확률로 순위를 매겨, 사전 정의된 임계값 없이 이상 탐지가 가능하다.
• 온라인 추론을 지원하며, 계산 비용을 줄이기 위해 가우시안 프로세스나 프로토타입 템플릿을 활용한 가속화가 가능하다.
• 이상 탐지 성능 평가를 위해 새로운 평가 지표인 순위 가중 점수(Rank-Weighted Score, RWS)를 도입하여 이상 객체의 정확한 순위 매기기 성능을 평가한다.

실험 결과

연구 질문

• RQ1 통합된 베이지안 프레임워크가 측정 불확실성을 적절히 전파하면서 정확한 분류와 강건한 이상 탐지 기능을 동시에 달성할 수 있는가?
• RQ2 알려진 노이즈 모델 하에서, BADAC는 랜덤 포레스트, IsolationForest, LOF와 같은 표준 알고리즘보다 어떻게 성능을 발휘하는가?
• RQ3 비정규 또는 상관관계가 있는 노이즈 상황에서 BADAC는 어느 정도 성능을 유지하는가?
• RQ4 BADAC는 과학적 분석 파이프라인에서 불확실성 전파가 요구되는 데 적합한 잘 校정된 분류 확률을 생성할 수 있는가?
• RQ5 BADAC는 비지도 방식으로 새로운 클래스를 탐지하는 데 얼마나 효과적인가?

주요 결과

• 정확한 노이즈 모델이 알려져 있을 경우, BADAC는 랜덤 포레스트보다 분류 성능이 뛰어나고, IsolationForest 및 LOF보다 이상 탐지 성능이 뛰어나며, 이는 불확실성의 적절한 활용 덕분이다.
• 긴밀한 이상 현상(노이즈가 강한 스파이크와 유사한 형태)에 대해서는 BADAC의 성능이 LOF와 유사하며, IsolationForest보다 우수하다.
• BADAC는 잘 校정된 분류 확률을 생성하며, 이는 과학적 파이프라인에서 신뢰성 있게 사용되기 위해 필수적이다.
• 비정규 또는 상관관계가 있는 노이즈 상황에서도 BADAC는 강력한 이상 탐지 성능을 유지하지만, 특히 상관관계가 있는 경우 분류 정확도는 떨어진다.
• 노이즈 모델이 잘못되었을 경우 BADAC의 확률 校정성이 무너지지만, 진짜 노이즈 구조를 우도에 통합함으로써 이를 보정할 수 있다.
• 계산 비용이 높고 대규모 데이터셋에선 스케일링이 잘 되지 않지만, 가우시안 프로세스나 템플릿 기반 근사 기법을 통해 가속화가 가능하다.