[논문 리뷰] Hierarchical Heavy Hitters with the Space Saving Algorithm

Michael Mitzenmacher, Thomas Steinke외 1명|arXiv (Cornell University)|2011. 02. 27.

Network Security and Intrusion Detection참고 문헌 13인용 수 10

한 줄 요약

이 논문은 계층적 헤비 헤이터스(HHHs)를 위한 새로운 간단한 스트리밍 알고리즘을 제안하며, Space Saving 알고리즘을 서브루틴으로 사용하여 이전 방법들보다 뛰어난 속도와 정확도를 달성하면서도 강력한 이론적 보장을 유지한다. 이 방법은 일차원 및 이차원 계층을 효율적으로 처리하고, 업데이트당 TCAM 연산 수를 줄이며, 실제 네트워크 모니터링 워크로드에서 성능과 실용성 면에서 기존 알고리즘을 능가한다.

ABSTRACT

The Hierarchical Heavy Hitters problem extends the notion of frequent items to data arranged in a hierarchy. This problem has applications to network traffic monitoring, anomaly detection, and DDoS detection. We present a new streaming approximation algorithm for computing Hierarchical Heavy Hitters that has several advantages over previous algorithms. It improves on the worst-case time and space bounds of earlier algorithms, is conceptually simple and substantially easier to implement, offers improved accuracy guarantees, is easily adopted to a distributed or parallel setting, and can be efficiently implemented in commodity hardware such as ternary content addressable memory (TCAMs). We present experimental results showing that for parameters of primary practical interest, our two-dimensional algorithm is superior to existing algorithms in terms of speed and accuracy, and competitive in terms of space, while our one-dimensional algorithm is also superior in terms of speed and accuracy for a more limited range of parameters.

연구 동기 및 목표

• 기존의 스트리밍 알고리즘들이 복잡하거나 느리거나 강력한 이론적 보장을 갖지 못하는 한계를 해결하기 위해.
• 실제 시스템인 라우터와 TCAM에 쉽게 구현하고 배포할 수 있도록 하면서도 높은 정확도와 낮은 메모리 사용량을 유지하는 방법을 개발하기 위해.
• 이전 알고리즘을 향상시켜 더 나은 최악의 경우 시간 및 공간 복잡도, 향상된 정확도, 분산 및 병렬 실행 지원을 제공하기 위해.
• 실제 패킷 트레이스를 통한 실험을 통해 실용적 우수성을 입증하기 위해, 더 빠른 처리 속도와 더 낮은 TCAM 연산 수를 보여주기 위해.

제안 방법

• 알고리즘은 계층적 데이터 구조 내에서 항목의 근사 빈도 수를 유지하기 위해 핵심 서브루틴으로 Space Saving 알고리즘을 사용한다.
• 정의된 래티스 구조에 기반해 부모 노드를 통해 업데이트를 전파하는 방식으로 Space Saving을 계층적 집계를 지원하도록 확장한다.
• 일차원 HHH의 경우, 계층의 각 레벨마다 Space Saving의 단일 인스턴스를 유지한다. 이차원 HHH의 경우, 소스 및 목적지 차원에 걸쳐 여러 인스턴스를 유지한다.
• 노드가 헤비 헤이터로 보고되기 위해서는 자식 노드의 빈도 합이 임계값을 초과해야 하므로, 이는 자식 노드에서 유래한 가짜 양성 결과를 방지한다.
• TCAM에 친화적인 구조로 설계되어 고수준 노드의 비균일한 빈도 분포를 활용해 패킷당 TCAM 연산 수를 최소화한다.
• 단위 업데이트(카운트 전용)와 가중치 업데이트 모두를 지원하며, 성능은 임계값 매개변수 φ에 영향을 받지 않는다.

실험 결과

연구 질문

• RQ1 더 단순한 알고리즘이 강력한 이론적 오차 한계를 유지하면서도 이전의 복잡한 HHH 알고리즘보다 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 실제 네트워크 트래픽 데이터에서 제안된 알고리즘은 속도, 정확도, 메모리 사용량 측면에서 이전 방법과 어떻게 비교되는가?
• RQ3 Space Saving 알고리즘은 증명 가능 보장을 갖는 다차원 계층적 데이터로 얼마나 효과적으로 확장될 수 있는가?
• RQ4 알고리즘은 일반 하드웨어인 TCAM에 효율적으로 구현될 수 있는가? 그리고 이전 대비 TCAM 연산 수는 어떻게 비교되는가?

주요 결과

• ε = 0.1 인 일차원 설정에서 제안된 'unitary' 알고리즘이 초당 220만 개 패킷을 처리하여, 부분적(130만) 및 전체적(140만) 알고리즘을 능가했다.
• ε = 0.1 인 이차원 설정에서 'hhh' 알고리즘이 초당 30만 건의 업데이트를 처리하여, 부분적(71,000) 및 전체적(10만) 알고리즘보다 3배 이상 빠르게 처리했다.
• 제안된 알고리즘의 상대 오차는 모든 경쟁자보다 균일하게 낮았으며, 부분적 연성 알고리즘은 종종 이론적 상한선인 1에 도달했다.
• TCAM 시뮬레이션 결과, 일차원에서는 평균 14회 연산(1개의 Space Saving 인스턴스당 2.8회), 이차원에서는 평균 65회 연산(1개 인스턴스당 2.6회)이 발생했으며, 이는 이전 구현 대비 최대 4회 연산까지도 초월하는 성능을 보였다.
• 알고리즘의 실행 시간과 메모리 사용량은 임계값 φ에 영향을 받지 않으며, φ는 오직 출력 단계에만 영향을 주며 실질적으로 무시할 수 있다.
• 알고리즘은 강력한 이론적 보장을 유지하고 있으며, 단순성, 병렬 처리 가능성, 하드웨어 효율성 덕분에 이전 방법보다 더 실용적이다.