[논문 리뷰] Advanced Bloom Filter Based Algorithms for Efficient Approximate Data De-Duplication in Streams

Suman K. Bera, Sourav Dutta외 2명|arXiv (Cornell University)|2012. 12. 17.

Caching and Content Delivery참고 문헌 25인용 수 5

한 줄 요약

이 논문은 유속이 빠르고 무한대에 가까운 데이터 스트림에서 근사적 중복 검출을 향상시키기 위해 레저보어 샘플링과 비biased 샘플링을 통합한 새로운 블룸 필터 기반 알고리즘—레저보어 샘플링 기반 블룸 필터(RSBF), 비biased 샘플링 기반 블룸 필터( BS F), 및 그 변종—을 제안한다. 이 방법들은 안정형 블룸 필터(SBF)와 비교해도 유사한 거짓 양성 비율을 유지하면서 거짓 음성 비율을 최대 300배 낮추어 대규모 데이터 탈중복 처리의 수렴 속도와 실시간 성능을 크게 향상시킨다.

ABSTRACT

Applications involving telecommunication call data records, web pages, online transactions, medical records, stock markets, climate warning systems, etc., necessitate efficient management and processing of such massively exponential amount of data from diverse sources. De-duplication or Intelligent Compression in streaming scenarios for approximate identification and elimination of duplicates from such unbounded data stream is a greater challenge given the real-time nature of data arrival. Stable Bloom Filters (SBF) addresses this problem to a certain extent. . In this work, we present several novel algorithms for the problem of approximate detection of duplicates in data streams. We propose the Reservoir Sampling based Bloom Filter (RSBF) combining the working principle of reservoir sampling and Bloom Filters. We also present variants of the novel Biased Sampling based Bloom Filter (BSBF) based on biased sampling concepts. We also propose a randomized load balanced variant of the sampling Bloom Filter approach to efficiently tackle the duplicate detection. In this work, we thus provide a generic framework for de-duplication using Bloom Filters. Using detailed theoretical analysis we prove analytical bounds on the false positive rate, false negative rate and convergence rate of the proposed structures. We exhibit that our models clearly outperform the existing methods. We also demonstrate empirical analysis of the structures using real-world datasets (3 million records) and also with synthetic datasets (1 billion records) capturing various input distributions.

연구 동기 및 목표

• 낮은 거짓 음성 비율과 거짓 양성 비율을 유지하면서 고속도, 무한대의 데이터 스트림에서 실시간 중복 검출 문제를 해결한다.
• 특히 높은 거짓 음성 비율과 느린 수렴 속도로 인해 자원 제약 환경에서 성능이 떨어지는 안정형 블룸 필터(SBF)의 한계를 극복한다.
• 다양한 입력 분포에 적응 가능한 메모리 효율적인 메모리 내 데이터 구조를 설계하여 실시간 처리를 지원한다.
• 다양한 데이터 분포에서 개선된 거짓 음성 비율, 수렴 속도, 안정성에 대한 이론적 및 실증적 검증을 제공한다.
• 샘플링 기법을 통합한 블룸 필터를 활용한 근사 탈중복을 위한 일반적이고 확장 가능한 프레임워크를 개발한다.

제안 방법

• 레저보어 샘플링과 블룸 필터를 융합한 레저보어 샘플링 기반 블룸 필터(RSBF)를 도입하여 스트림 요소의 대표적 샘플을 유지하고 거짓 음성 비율을 감소시킨다.
• 고빈도 또는 핵심 요소를 우선순위로 지정하는 동적 비biased 메커니즘을 갖춘 비biased 샘플링 기반 블룸 필터( BSBF)를 제안하여 검출 정확도를 향상시킨다.
• 다양한 삭제 및 샘플링 전략을 가진 BSBF 변종(예: BSBFSD, RLBSBF)을 설계하여 다양한 워크로드 하에서 FPR과 FNR 간의 균형을 맞춘다.
• 무작위로 로드 밸런싱된 변종(RLBSBF)을 구현하여 샘플링 부담을 분산시키고 다양한 입력 패턴에서 안정성과 성능을 향상시킨다.
• 이론적 분석을 통해 모든 제안된 구조에 대해 거짓 양성 비율(FPR), 거짓 음성 비율(FNR), 수렴 속도의 경계를 유도한다.
• 실제 데이터(300만 건)와 합성 데이터(10억 건)를 사용하여 다양한 다양성 수준(60%에서 90%까지)과 메모리 제약(64MB에서 512MB까지) 하에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 레저보어 샘플링은 데이터 스트림 탈중복 처리에서 블룸 필터의 거짓 음성 비율과 수렴 속도를 향상시킬 수 있는가?
• RQ2 블룸 필터에 비biased 샘플링 메커니즘이 거짓 양성 비율을 크게 증가시키지 않으면서도 거짓 음성 비율을 상당히 감소시킬 수 있는가?
• RQ3 BSBF 변종에서 다양한 삭제 및 샘플링 전략은 다양한 데이터 분포 하에서 FPR과 FNR 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ4 샘플링 기반 블룸 필터에서 로드 밸런싱은 다양한 입력 패턴에서 성능을 안정화시키고 수렴 속도를 향상시키는 데 어느 정도 기여하는가?
• RQ5 제안된 알고리즘은 동일한 FPR과 메모리 사용량을 유지하면서 SBF에 비해 뛰어난 FNR과 수렴 속도를 달성할 수 있는가?

주요 결과

• 10억 개 요소로 구성된 합성 데이터셋에서 60%의 고유 값이 존재할 경우, RLBSBF는 512MB 메모리에서 SBF의 30.2739%에서 시작하는 거짓 음성 비율(FNR)을 1.9897%로 낮춰 15배 향상시켰다.
• 90%의 고유 요소가 존재할 경우, RLBSBF는 SBF의 32.8335% FNR을 512MB에서 4.2852%로 낮춰 7.7배 향상시켰다.
• RSBF는 512MB에서 SBF의 30.2739%에서 시작하는 FNR을 20.2770%로 낮춰 1.5배 향상시켰으며, 유사한 거짓 양성 비율을 유지했다.
• BSBF, BSBFSD, RLBSBF는 각각 SBF 대비 2.5배, 5배, 30배의 FNR 감소를 달성했으며, 동일한 512MB 메모리 제약 조건 하에서였다.
• 모든 제안된 알고리즘이 SBF보다 더 빠른 속도로 안정된 FPR과 FNR 값에 수렴했으며, 10억 건 데이터셋의 모든 메모리 수준에서 FPR이 2–4% 내로 유지되었다.
• 실제 및 합성 데이터셋에 대한 실증 결과는 제안된 알고리즘이 FNR, 수렴 속도, 안정성에서 SBF를 능가함을 확인했으며, FPR에 유의미한 증가가 없었다.