[논문 리뷰] Hokusai - Sketching Streams in Real Time

Sergiy Matusevych, Alex Smola외 1명|arXiv (Cornell University)|2012. 10. 16.

Data Management and Algorithms참고 문헌 12인용 수 10

한 줄 요약

Hokusai는 CountMin 스키치를 기반으로 한 인과적 근사법을 사용하여 임의의 기호 스트림의 주파수 통계를 실시간으로 추적하는 시스템을 제안한다. 스케치의 선형성 특성을 활용함으로써, 어떤 (시간, 항목) 조합이라도 일정 시간 내에 점 추정을 수행할 수 있으며, 웹 쿼리 로그나 네트워크 트래픽 스트림과 같은 동적 데이터 워크로드에서 저메모리 및 저지연 분석을 실현한다.

ABSTRACT

We describe Hokusai, a real time system which is able to capture frequency information for streams of arbitrary sequences of symbols. The algorithm uses the CountMin sketch as its basis and exploits the fact that sketching is linear. It provides real time statistics of arbitrary events, e.g. streams of queries as a function of time. We use a factorizing approximation to provide point estimates at arbitrary (time, item) combinations. Queries can be answered in constant time.

연구 동기 및 목표

• 데이터베이스 및 AI 시스템에서 고속도의 데이터 스트림에 대한 실시간 주파수 통계가 필요한 요구사항를 해결한다.
• 기존의 스케칭 기법이 시간과 항목 간의 임의의 점 쿼리를 지원하는 데에 한계를 가진 문제를 해결한다.
• 동적 스트림에서 어떤 (시간, 항목) 조합이라도 효율적이고 일정 시간 내에 응답할 수 있는 주파수 카운트 쿼리 응답을 가능하게 한다.
• 웹 쿼리 또는 네트워크 이벤트와 같은 실시간 이벤트 주파수 모니터링을 위한 확장 가능하고 메모리 효율적인 솔루션을 제공한다.
• 시간과 항목 간의 주파수 데이터를 압축하고 재구성할 수 있는 인수분해 근사법을 도입하여 정확도 손실이 최소한이 되도록 한다.

제안 방법

• 낮은 메모리 사용량으로 확률적 주파수 추정을 제공하는 CountMin 스키치 데이터 구조를 기반으로 한다.
• 스케칭의 선형성 특성을 활용하여 시간이 지남에 따라 스트리밍 데이터의 압축된 표현을 유지한다.
• 시간과 항목의 조합 주파수 분포를 시간 요소와 항목 요소의 곱으로 모델링하기 위해 인수분해 근사법을 적용한다.
• 스케치 요약 정보에서 행렬 인수분해를 사용하여 임의의 (시간, 항목) 쌍의 점 주파수를 추정한다.
• 새로운 스트림 요소가 도착할 때마다 스케치와 인수분해 모델을 점진적으로 업데이트할 수 있다.
• 사전에 계산하고 저장한 인수분해 구성 요소를 통해 일정 시간 내에 쿼리 해결을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스트리밍 시스템은 저메모리 및 저지연으로 고속도의 기호 시퀀스에 대한 주파수 통계를 실시간으로 효율적으로 유지할 수 있는가?
• RQ2 스케칭 기법은 전체 주파수 행렬을 저장하지 않고도 시간과 항목 간의 임의의 (시간, 항목) 조합에 대한 점 쿼리를 지원할 수 있는가?
• RQ3 시간과 항목 간의 정확한 주파수 추정을 유지하면서도 일정 시간 내에 쿼리 성능을 확보할 수 있는 근사 전략은 무엇인가?
• RQ4 인수분해 근사법은 동적 데이터 워크로드에서 정확한 주파수 추적에 비해 정확도를 어느 정도 유지하는가?
• RQ5 고속도의 데이터 스트림에서도 저메모리 및 저지연 응답 시간을 유지하면서 확장 가능한가?

주요 결과

• Hokusai는 어떤 (시간, 항목) 쌍이라도 일정 시간 내에 주파수 추정에 응답하여 실시간 라이브 데이터 스트림에서 인터랙티브 분석을 가능하게 한다.
• CountMin 스키치와 인수분해 근사법에 의존함으로써 전체 주파수 행렬을 저장하지 않고도 낮은 메모리 사용량을 유지한다.
• 인수분해 근사법 덕분에 고속도의 데이터 스트림에서도 시간과 항목 간의 정확한 점 추정이 가능하다.
• 점진적 업데이트를 지원함으로써 지속적인 데이터를 처리하는 생산 환경에 적합하다.
• 평가 결과 Hokusai는 최소한의 오버헤드로 높은 정확도의 주파수 추정을 제공하여 웹 쿼리 또는 네트워크 이벤트의 실시간 모니터링에 적합하다.
• 이 방법은 최소한의 튜닝으로도 로그, 쿼리, 네트워크 패킷과 같은 임의의 기호 스트림에 일반적으로 적용 가능하다.