[논문 리뷰] RobustBF: A High Accuracy and Memory Efficient 2D Bloom Filter

Nayak, Sabuzima, Patgiri, Ripon|arXiv (Cornell University)|2021. 06. 06.

Caching and Content Delivery참고 문헌 16인용 수 4

한 줄 요약

이 논문은 Murmur 해시 함수를 최적화하고 소수 차원을 가진 2차원 비트 배열 구조를 사용하여 성능을 희생시키지 않은 채 정확도와 효율성을 향상시키는 새로운 2차원 블룸 필터인 robustBF를 제안한다. 이는 기존의 카운팅 블룸 필터 대비 최대 44배, 표준 블룸 필터 대비 10배 더 낮은 메모리 사용량으로 근사적으로 0에 가까운 잘못된 양성률을 달성한다.

ABSTRACT

Bloom Filter is an important probabilistic data structure to reduce memory consumption for membership filters. It is applied in diverse domains such as Computer Networking, Network Security and Privacy, IoT, Edge Computing, Cloud Computing, Big Data, and Biometrics. But Bloom Filter has an issue of the false positive probability. To address this issue, we propose a novel robust Bloom Filter, robustBF for short. robustBF is a 2D Bloom Filter, capable of filtering millions of data with high accuracy without compromising the performance. Our proposed system is presented in two-fold. Firstly, we modify the murmur hash function, and test all modified hash functions for improvements and select the best-modified hash function experimentally. Secondly, we embed the modified hash functions in 2D Bloom Filter. Our experimental results show that robustBF is better than standard Bloom Filter and counting Bloom Filter in every aspect. robustBF exhibits nearly zero false positive probability with more than $10 imes$ and $44 imes$ lower memory consumption than standard Bloom filter and counting Bloom Filter, respectively.

연구 동기 및 목표

• 기존 블룸 필터에서 지속적인 높은 잘못된 양성률 문제를 해결하면서 메모리 사용량을 최소화하기 위해.
• 삽입 및 검색 성능을 저하시키지 않은 채 멤버십 필터의 정확도와 메모리 효율성을 향상시키기 위해.
• 목표 잘못된 양성률 0.001일 때 거의 0에 가까운 잘못된 양성률을 갖는 2차원 블룸 필터 변종을 설계하기 위해.
• 2차원 필터링 구조 내에서 더 나은 분포와 낮은 충돌률을 확보하기 위해 Murmur 해시 함수를 최적화하기 위해.
• robustBF가 표준 및 카운팅 블룸 필터보다 메모리 소비, 속도, 정확도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 저자들은 실험적 평가를 통해 Murmur 해시 함수를 수정하여 더 나은 비트 분포와 낮은 충돌률을 보이는 최적의 변종을 선별한다.
• 두 개의 소수 차원(X 및 Y)을 사용하여 잘못된 양성률을 최소화하고 비트의 균일한 분포를 보장하는 2차원 블룸 필터 구조를 구현한다.
• 2차원 배열은 X = P_{i+3} 및 Y = P_{i-3}로 구성되며, 여기서 P_i는 사전에 계산된 소수 목록으로 최적의 배열 치수를 보장한다.
• 이 필터는 이론적 공식에서 유도된 최적의 해시 함수 수의 정확히 반만 사용하며, 색인 계산을 위해 X 및 Y에 대한 모듈러스 연산을 활용한다.
• 메모리는 각 셀당 β비트를 가지는 unsigned long int 2차원 배열로 할당되며, 총 메모리는 X × Y × β 비트이다.
• 시스템은 하이브리드 접근 방식을 사용한다: 입력 매핑을 위한 최적화된 해싱과 잘못된 양성률을 줄이기 위한 2차원 배열 구조를 결합하여 삽입 및 검색 속도를 유지한다.

실험 결과

연구 질문

• RQ1 최적화된 해싱을 적용한 2차원 블룸 필터가 메모리 사용량을 크게 줄이면서도 근사적으로 0에 가까운 잘못된 양성률을 달성할 수 있는가?
• RQ2 해시 함수의 선택이 2차원 블룸 필터에서 잘못된 양성률과 성능에 어떤 영향을 미치는가?
• RQ3 소수 차원을 가진 2차원 블룸 필터가 표준 및 카운팅 블룸 필터보다 메모리 효율성과 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 삽입 또는 검색 속도를 희생시키지 않고 메모리 소비를 얼마나 줄일 수 있는가?
• RQ5 새로운 2차원 구조를 사용하여 최소한의 메모리 오버헤드로 멤버십 필터링에서 거의 100% 정확도를 달성할 수 있는가?

주요 결과

• robustBF는 표준 블룸 필터(SBF) 대비 평균 10.40배, 카운팅 블룸 필터(CBF) 대비 44.01배 메모리 소비를 줄였다.
• 모든 테스트 세트, 특히 분리된 세트와 무작위 세트에서 robustBF의 잘못된 양성률은 거의 0(0)에 가깝지만, CBF는 이러한 경우에 높은 잘못된 양성률(최대 0.995)을 보였다.
• 1,000만 개의 항목 삽입 시 robustBF는 SBF보다 2.038배, CBF보다 2.48배 더 빠르게 작동한다.
• 1,000만 개의 항목에 대해 robustBF는 1.55MB의 메모리만 사용하며, CBF는 24MB를 사용하므로 메모리 소비가 15.5배 감소했다.
• 소수 차원(X 및 Y)을 가진 2차원 구조는 특히 분리된 세트나 무작위 세트와 같은 악성 데이터 패턴에서 잘못된 양성률을 크게 감소시킨다.
• 목표 잘못된 양성률 0.001일 때 거의 100% 정확도를 달성하여, 고정확도와 극적으로 줄어든 메모리 프로필을 동시에 구현한 블룸 필터의 첫 번째 변종이 되었다.