[논문 리뷰] Buffered Count-Min Sketch on SSD: Theory and Experiments

Mayank Goswami, Dzejla Medjedovic외 2명|arXiv (Cornell University)|2018. 04. 27.

Advanced Data Storage Technologies참고 문헌 13인용 수 3

한 줄 요약

이 논문은 SSD 최적화된 count-min 스킴의 변종인 버퍼링된 카운트-민 스킴(BCMS)을 제안한다. BCMS는 한 요소의 모든 해시 연산을 단일 SSD 페이지에 그룹화함으로써 랜덤 I/O를 줄이기 위해 해시 로컬라이제이션을 사용한다. 이 방법은 원본 count-min 스킴의 오차 보장을 유지하면서도 삽입 속도를 3.7×–4.7× 빠르게 하고, 조회 속도를 4.3× 빠르게 하며, worst case에서 I/O 복잡도를 O(r)에서 1로 감소시킨다.

ABSTRACT

Frequency estimation data structures such as the count-min sketch (CMS) have found numerous applications in databases, networking, computational biology and other domains. Many applications that use the count-min sketch process massive and rapidly evolving datasets. For data-intensive applications that aim to keep the overestimate error low, the count-min sketch may become too large to store in available RAM and may have to migrate to external storage (e.g., SSD.) Due to the random-read/write nature of hash operations of the count-min sketch, simply placing it on SSD stifles the performance of time-critical applications, requiring about 4-6 random reads/writes to SSD per estimate (lookup) and update (insert) operation. In this paper, we expand on the preliminary idea of the Buffered Count-Min Sketch (BCMS) [15], an SSD variant of the count-min sketch, that used hash localization to scale efficiently out of RAM while keeping the total error bounded. We describe the design and implementation of the buffered count-min sketch, and empirically show that our implementation achieves 3.7x-4.7x the speedup on update (insert) and 4.3x speedup on estimate (lookup) operations. Our design also offers an asymptotic improvement in the external-memory model [1] over the original data structure: r random I/Os are reduced to 1 I/O for the estimate operation. For a data structure that uses k blocks on SSD, was the word/counter size, r as the number of rows, M as the number of bits in the main memory, our data structure uses kwr/M amortized I/Os for updates, or, if kwr/M >1, 1 I/O in the worst case. In typical scenarios, kwr/M is much smaller than 1. This is in contrast to O(r) I/Os incurred for each update in the original data structure.

연구 동기 및 목표

• 메모리가 주로 메인 메모리 초과로 확장될 경우 발생하는 카운트-민 스킴의 성능 저하 문제를 해결하기 위해, 랜덤 I/O가 성능을 심각하게 떨어뜨리는 SSD 환경으로 이동함으로써 성능을 향상시키는 것.
• 업데이트 및 쿼리 연산에 대해 외부 메모리 I/O를 최소화하는 카운트-민 스킴의 변종을 설계하는 것.
• 해시 로컬라이제이션에도 불구하고 원본 카운트-민 스킴의 확률적 오차 보장을 유지하는 것 (Pr[Error ≥ nε(1+o(1))] ≤ δ+o(1)).
• 실제로 해시 로컬라이제이션이 과대추정 품질을 떨어뜨리지 않는지 실증적으로 검증하는 것.
• BCMS가 조회에 대해 최적의 I/O 복잡도를, 업데이트에 대해 거의 최적의 분할 계산 I/O 복잡도를 달성한다는 이론적 및 실증적 증거를 제공하는 것.

제안 방법

• 버퍼링된 카운트-민 스킴(BCMS)은 SSD에 고정 크기의 페이지로 스킴을 구성하며, 주어진 항목에 대한 모든 해시 함수를 페이지 수준의 해시 함수를 통해 동일한 페이지에 매핑한다.
• 모든 업데이트 또는 쿼리 연산은 오직 한 개의 SSD 페이지만 액세스하므로, worst case에서 랜덤 I/O 수를 O(r)에서 1로 줄인다.
• 데이터 구조는 업데이트를 그룹화하여 I/O를 최소화하기 위해 버퍼를 사용하며, 업데이트당 분할 계산 I/O 비용은 kwr/M이다. 여기서 k는 블록 수, w는 워드 크기, r은 행 수, M은 메인 메모리 크기이다.
• 이론적 분석을 통해 오차 확률이 원본 CMS와 동일하게 유한하게 유지됨을 증명한다: Pr[Error(q) ≥ nε(1+o(1))] ≤ δ + o(1).
• 스킵의 크기, 깊이 r = ⌈ln(1/δ)⌉, 너비 ⌈e/ε⌉를 사용하여 스킴을 설정하며, 파라미터 δ(실패 확률), ε(오차 허용 범위), 그리고 스킴 크기를 사용한다.
• 실증 평가에서는 1TB SSD와 32GB RAM을 사용하여 다양한 스킴 크기와 RAM 대 스킴 비율에서 삽입 및 쿼리 처리량을 측정한다.

실험 결과

연구 질문

• RQ1 카운트-민 스킴의 변종에서 해시 로컬라이제이션이 O(r)에서 1로 감소된 SSD I/O를 달성하면서도 오차 보장을 유지할 수 있는가?
• RQ2 감소된 I/O로 인한 성능 향상이 실제 SSD 워크로드에서 측정 가능한 속도 향상으로 이어지는가?
• RQ3 해시 로컬라이제이션이 실질적으로 과대추정 오차에 어떤 영향을 미치는가?
• RQ4 BCMS의 업데이트에 대한 분할 계산 I/O 비용이 외부 메모리 모델에서 O(r)보다 유의미하게 낮은가?
• RQ5 실제 워크로드에서 BCMS는 원본 카운트-민 스킴과 동일한 오차 확률과 과대추정 한계를 유지할 수 있는가?

주요 결과

• 버퍼링된 카운트-민 스킴은 원본 카운트-민 스킴 대비 SSD에서 삽입 처리량을 3.7×–4.7× 높이며, 스킴 크기가 메모리 초과할수록 속도 향상이 증가한다.
• BCMS의 쿼리 처리량은 원본 카운트-민 스킴 대비 4.3× 더 빠르며, 이는 쿼리당 오직 한 번의 I/O만 액세스하기 때문이다.
• 모든 테스트 스킴 크기에서 원본 카운트-민 스킴과 BCMS 간 평균 및 최대 과대추정 값이 동일하여 오차 품질에 변화가 없음을 확인한다.
• 이론적으로 조회의 I/O 복잡도는 worst case에서 O(r)에서 1로 감소하였고, 업데이트의 경우 kwr/M의 분할 계산 I/O로 감소하였으며, 실제로는 종종 1 미만이다.
• 실증 결과는 해시 로컬라이제이션이 오차율을 상당히 악화시키지 않음을 확인하며, 과대추정 값이 원본 CMS의 이론적 경계 내에 유지된다.
• BCMS 설계는 조회에 대해 최적의 I/O 행동을 달성하고 업데이트에 대해 거의 최적의 분할 계산 I/O를 달성하여 SSD 환경에서 뛰어난 실용적 효율성을 보여준다.