[논문 리뷰] Arrays of (locality-sensitive) Count Estimators (ACE): High-Speed Anomaly Detection via Cache Lookups

Chen Luo, Anshumali Shrivastava|arXiv (Cornell University)|2017. 06. 20.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 6

한 줄 요약

ACE는 스트리밍 데이터에서 실시간 이상 탐지가 가능한 고속·초저메모리 이상 탐지 알고리즘을 제안한다. 국소성에 민감한 카운트 추정기의 어레이를 사용하여, 로컬리티-센시티브 해싱(LSH)에서 유래한 새로운 샘플링 기반 추정기를 활용함으로써 ELKI 대비 60배 빠른 성능을 달성하면서도 4MB 미만의 메모리만을 사용한다. 이는 고처리량 시스템에서 캐시 기반 배포에 적합하다.

ABSTRACT

Anomaly detection is one of the frequent and important subroutines deployed in large-scale data processing systems. Even being a well-studied topic, existing techniques for unsupervised anomaly detection require storing significant amounts of data, which is prohibitive from memory and latency perspective. In the big-data world existing methods fail to address the new set of memory and latency constraints. In this paper, we propose ACE (Arrays of (locality-sensitive) Count Estimators) algorithm that can be 60x faster than the ELKI package~\cite{DBLP:conf/ssd/AchtertBKSZ09}, which has the fastest implementation of the unsupervised anomaly detection algorithms. ACE algorithm requires less than $4MB$ memory, to dynamically compress the full data information into a set of count arrays. These tiny $4MB$ arrays of counts are sufficient for unsupervised anomaly detection. At the core of the ACE algorithm, there is a novel statistical estimator which is derived from the sampling view of Locality Sensitive Hashing(LSH). This view is significantly different and efficient than the widely popular view of LSH for near-neighbor search. We show the superiority of ACE algorithm over 11 popular baselines on 3 benchmark datasets, including the KDD-Cup99 data which is the largest available benchmark comprising of more than half a million entries with ground truth anomaly labels.

연구 동기 및 목표

• 엄격한 메모리 및 지연 시간 제약 조건을 가진 고속·변화하는 데이터 스트림에서 실시간 이상 탐지의 과제를 해결한다.
• 빅데이터 환경에서 높은 지연 시간을 겪고 대량의 메모리를 요구하는 기존 비지도 이상 탐지 방법의 한계를 극복한다.
• CPU 캐시에 완전히 맞는 메모리 효율적인 알고리즘을 설계하여 실시간 응용 프로그램에서 초저지연 추론을 가능하게 한다.
• 기존 방법이 구현이 어려운 모바일 디바이스 및 스마트 센서와 같은 저전력·저메모리 플랫폼에의 배포를 가능하게 한다.
• 고성능 탐지 정확도를 유지하면서도 계산 및 저장 오버헤드를 크게 줄이는 확장성 있고 캐시 최적화된 솔루션을 제공한다.

제안 방법

• 각각 다른 해시 함수를 사용하는 LSH 기반 카운트 추정기 어레이(ACE)를 활용하여 데이터 포인트의 국소 밀도를 추정한다.
• LSH의 샘플링 관점에서 유도된 새로운 통계 추정기를 사용하며, 각 해시 버킷을 무작위 표본으로 간주하여 이상점 점수를 추정한다.
• 쿼리 포인트 $ q $ 의 이상점 점수를 $ L $ 개의 독립된 추정기의 평균으로 계산한다. 각 추정기는 별도의 해시 어레이에서 유도된다.
• 각 해시 함수당 $ O(1) $ 크기의 컴act한 카운트 어레이를 유지하며, 각 해시 버킷에 매핑된 데이터 포인트 수만 저장한다.
• 기대값의 선형성 덕분에 추정기가 편향이 없음을 보장하며, $ L $ 개의 독립된 해시 어레이를 평균화하여 분산을 줄인다.
• 캐시 우수한 데이터 구조를 사용하여 카운트 어레이를 저장함으로써 빠른 랜덤 액세스를 가능하게 하고 실시간 처리에서 메모리 지연을 최소화한다.

실험 결과

연구 질문

• RQ1 새로운 LSH 기반 샘플링 추정기는 최소한의 메모리 프로파일을 가진 높은 정확도의 이상 탐지가 가능한가?
• RQ2 ACE 알고리즘이 최신 비지도 이상 탐지 방법들과 비교해 성능과 메모리 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 ACE 알고리즘은 동적 데이터 분포를 가진 대규모·고차원·스트리밍 데이터 세트에 얼마나 잘 스케일링되는가?
• RQ4 ACE 알고리즘은 CPU 캐시에 완전히 배치되어 실시간 시스템에서 밀리초 이내 응답 시간을 달성할 수 있는가?
• RQ5 추정기의 분산은 해시 어레이 수 $ L $ 과 어떻게 관련되어 있으며, 정확도와 메모리 간의 최적의 트레이드오프는 무엇인가?

주요 결과

• ACE는 ELKI 패키지 대비 60배 빠른 성능을 달성하여, 현재까지 알려진 비지도 이상 탐지 알고리즘 중 가장 빠른 구현이다.
• 알고리즘은 전체 데이터 세트를 표현하기 위해 4MB 미만의 메모리만을 요구하여, 완전한 캐시 내 배치와 초저지연 액세스를 가능하게 한다.
• 50만 건이 넘는 항목과 참값 레이블을 가진 KDD-Cup99 벤치마크에서, ACE는 11개의 주요 베이스라인 모두를 성능과 정확도 측면에서 능가한다.
• 기대값의 선형성 덕분에, 심지어 데이터 포인트 간 상관관계가 있는 지표 변수가 있어도 추정기는 편향이 없다.
• 추정기의 분산은 $ 1/L $ 비례로 감소하며, 이는 최소한의 메모리 오버헤드로 정확한 추정이 가능함을 의미한다.
• 알고리즘은 데이터 드리프트에 강건하며 동적 데이터 업데이트를 지원하여 실시간·고속도 데이터 처리 환경에 적합하다.