[논문 리뷰] Active Anomaly Detection via Ensembles

Shubhomoy Das, Rakibul Islam외 2명|arXiv (Cornell University)|2018. 09. 17.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 12

한 줄 요약

이 논문은 배치 및 스트리밍 환경에서 이상 탐지 성능을 향상시키기 위해 레이블 효율적인 활성 학습을 활용하는 앙상블 모델을 사용하는 주동적 이상 탐지 프레임워크를 제안한다. 앙상블 점수의 내재된 불확실성을 활용하고, 압축된 이상 기술과 적응형 드리프트 탐지 기법을 도입함으로써, 상태기반 비지도 기반 보다 높은 이상 탐지율과 경쟁 가능한 성능을 달성한다. 특히 개념 드리프트가 발생하는 스트리밍 데이터 환경에서도 유사한 성능을 유지한다.

ABSTRACT

In critical applications of anomaly detection including computer security and fraud prevention, the anomaly detector must be configurable by the analyst to minimize the effort on false positives. One important way to configure the anomaly detector is by providing true labels for a few instances. We study the problem of label-efficient active learning to automatically tune anomaly detection ensembles and make four main contributions. First, we present an important insight into how anomaly detector ensembles are naturally suited for active learning. This insight allows us to relate the greedy querying strategy to uncertainty sampling, with implications for label-efficiency. Second, we present a novel formalism called compact description to describe the discovered anomalies and show that it can also be employed to improve the diversity of the instances presented to the analyst without loss in the anomaly discovery rate. Third, we present a novel data drift detection algorithm that not only detects the drift robustly, but also allows us to take corrective actions to adapt the detector in a principled manner. Fourth, we present extensive experiments to evaluate our insights and algorithms in both batch and streaming settings. Our results show that in addition to discovering significantly more anomalies than state-of-the-art unsupervised baselines, our active learning algorithms under the streaming-data setup are competitive with the batch setup.

연구 동기 및 목표

• 비지도 이상 탐지에서 높은 거짓 양성률 문제를 해결하기 위해 활성 학습을 통해 인간-컴퓨터 협업 설정을 가능하게 하기 위해.
• 탐지 성능을 희생시키지 않은 채 분석가가 대상으로 삼을 수 있는 이종적인 이상 유형을 다양화하기 위해.
• 스트리밍 이상 탐지 환경에서 데이터 드리프트를 탐지하고 원칙적으로 모델을 적응시키는 강력한 방법을 개발하기 위해.
• 주동적 학습을 통해 앙상블 모델이 스트리밍 환경에서 배치 학습과 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 트리 기반 이상 탐지기의 앙상블을 사용하여 개별 인스턴스의 점수를 계산하고, 앙상블 점수 행렬 ${f H}$ 를 활용해 고점수(잠재적으로 이상임이 의심되는) 인스턴스를 식별한다.
• 가장 높은 앙상블 점수를 가진 인스턴스를 대상으로 레이블을 요청하는 탐욕적 활성 학습 전략을 적용하며, 이는 앙상블 내부의 불확실성이 높은 인스턴스일수록 더 정보가 많다는 통찰을 활용한다.
• 발견된 이상 그룹을 요약하는 압축된 기술 형식을 도입하여, 탐지율을 유지하면서도 다양성이 보장된 쿼리 선택을 가능하게 한다.
• Kullback-Leibler (KL) 발산 기반의 새로운 데이터 드리프트 탐지 알고리즘을 제안하여 앙상블 내 오래된 트리를 식별하고 적응형 교체를 유도한다.
• 스레딩 윈도우 방식의 스트리밍 활성 학습 프레임워크(SAL)를 구현하여 데이터의 슬라이딩 윈도우를 유지하고, KL 발산 기반으로 트리를 동적으로 교체하며, 분석가 피드백을 통해 모델 가중치를 업데이트한다.
• 활성 학습의 분산을 줄이고 수렴성을 향상시키기 위해, 균일한 가중치 초기화(${f w}_{ ext{unif}}$)를 신뢰할 수 있는 사전으로 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 이상 탐지에서 앙상블 기반 탐지기의 특성을 체계적으로 활용하여 레이블 효율적인 활성 학습을 달성할 수 있는가?
• RQ2 압축된 이상 기술이 이상 탐지 성능을 떨어뜨리지 않으면서도 쿼리의 다양성을 향상시킬 수 있는가?
• RQ3 스트리밍 환경에서 데이터 드리프트를 강력하게 탐지하고, 이를 바탕으로 원칙적인 모델 적응을 유도할 수 있는가?
• RQ4 피드백 기반 스트리밍 활성 학습이 실제 이상 탐지 환경에서 배치 학습의 성능에 얼마나 가까이 도달할 수 있는가?

주요 결과

• 제안된 활성 학습 알고리즘(BAL)은 초기화 단계에서 균일한 사전을 사용할 경우, 최신 비지도 기반 보다 이상 탐지 성능에서 뚜렷한 우월성을 보였다.
• SAL(KL Adaptive) 스트리밍 알고리즘은 배치 학습과 경쟁 가능한 성능을 달성하여 실시간 피드백 기반 이상 탐지의 가능성을 입증했다.
• 압축된 이상 기술의 사용은 탐지율을 유지하면서도 쿼리의 다양성을 향상시켰으며, 이는 탐욕적 쿼리 전략과 유사한 성능을 달성했다.
• KL 발산 기반의 적응형 트리 교체 전략은 개념 드리프트를 효과적으로 탐지하고 모델의 강건성을 향상시켰으며, Covtype와 같이 드리프트가 존재하는 데이터셋에서 이를 입증했다.
• 드리프트가 없는 환경(예: ANN-Thyroid-1v3)에서는 오래된 트리를 오랫동안 유지하여 안정적인 성능을 유지하는 반면, 고드리프트 환경에서는 빈번한 교체가 발생함을 확인했다.
• 이 방법은 잘 일반화된다: 피드백에 의해 조정된 탐지기는 미리보지 않은 데이터에서 더 뛰어난 성능을 보였으며, SAL(KL Adaptive)는 스트리밍 환경에서 비지도 기반 및 고정 트리 대안보다 일관되게 뛰어난 성능을 보였다.