[논문 리뷰] Retouched Bloom Filters: Allowing Networked Applications to Flexibly Trade Off False Positives Against False Negatives

Benoît Donnet, Bruno Baynat외 1명|ArXiv.org|2006. 07. 09.

Caching and Content Delivery참고 문헌 13인용 수 4

한 줄 요약

이 논문은 네트워크 기반 애플리케이션이 특정 1비트를 0으로 전환하여 거짓 양성 결과를 선택적으로 제거할 수 있도록 허용하는 리터치드 블룸 필터(RBF)를 소개한다. 이는 거짓 음성 결과의 통제된 증가와 맞바꾸는 방식이다. RBF는 원래 블룸 필터와 동일한 총 오류율을 유지하면서도, 대역폭이나 필터 크기를 늘리지 않고도 가장 해로운 거짓 양성 결과를 줄이는 데 기여한다.

ABSTRACT

Where distributed agents must share voluminous set membership information, Bloom filters provide a compact, though lossy, way for them to do so. Numerous recent networking papers have examined the trade-offs between the bandwidth consumed by the transmission of Bloom filters, and the error rate, which takes the form of false positives, and which rises the more the filters are compressed. In this paper, we introduce the retouched Bloom filter (RBF), an extension that makes the Bloom filter more flexible by permitting the removal of selected false positives at the expense of generating random false negatives. We analytically show that RBFs created through a random process maintain an overall error rate, expressed as a combination of the false positive rate and the false negative rate, that is equal to the false positive rate of the corresponding Bloom filters. We further provide some simple heuristics and improved algorithms that decrease the false positive rate more than than the corresponding increase in the false negative rate, when creating RBFs. Finally, we demonstrate the advantages of an RBF over a Bloom filter in a distributed network topology measurement application, where information about large stop sets must be shared among route tracing monitors.

연구 동기 및 목표

• 표준 블룸 필터가 높은 영향을 미치는 거짓 양성 결과를 선택적으로 제거할 수 없는 한계를 해결하기 위해.
• 네트워크 기반 애플리케이션이 특정 거짓 양성 결과를 거짓 음성 결과의 통제된 증가와 맞바꾸도록 허용하기 위해.
• 원래 블룸 필터와 동일한 총 오류율(거짓 양성률과 거짓 음성률의 가중합)을 유지하기 위해.
• RBF 구축 과정에서 거짓 양성 결과의 감소 폭이 거짓 음성 결과의 증가 폭을 넘어서도록 실용적인 히ュ리스틱 및 알고리즘을 제공하기 위해.
• 분산된 토폴로지 탐색과 같은 실제 네트워크 측정 애플리케이션에서 RBF의 유용성을 입증하기 위해.

제안 방법

• 선택한 거짓 양성률을 기반으로 표준 기법을 사용해 표준 블룸 필터를 구축한다.
• 필터 구축 후 특정 거짓 양성 결과—특히 빈도가 높거나 영향력이 큰 것들—을 식별하고 대상으로 삼는다.
• 선택된 1비트를 0으로 전환하는 리터치 과정을 적용하여 해당 요소가 거짓 양성 결과를 유발할 가능성을 낮춘다.
• 가중된 거짓 양성률과 거짓 음성률의 조합으로 정의된 총 오류율을 분석적으로 유지하기 위해 비트 전환에 무작위 과정을 적용한다.
• 가장 문제적인 거짓 양성 결과와 관련된 비트를 우선적으로 전환함으로써, 도입되는 거짓 음성 결과 대비 거짓 양성 결과 감소를 최대화하는 히ュ리스틱 알고리즘을 설계한다.
• 모든 RBF 구축 오버헤드를 송신자 측에 국한시키며, 통신 대역폭이나 필터 크기의 증가 없이 처리한다.

실험 결과

연구 질문

• RQ1 전체 오류율을 증가시키지 않고도 특정 영향력 있는 요소에 대해 블룸 필터의 거짓 양성률을 낮출 수 있는가?
• RQ2 선택적으로 블룸 필터 비트를 수정함에 따라 거짓 양성 결과 감소와 거짓 음성 결과 증가 사이의 이론적 트레이드오프는 어떠한가?
• RQ3 실제 애플리케이션에서 거짓 양성 결과 감소 폭이 거짓 음성 결과 증가 폭을 초월하는 실용적인 히ュ리스틱을 설계할 수 있는가?
• RQ4 무작위 리터치 과정을 적용할 경우 RBF는 원래 블룸 필터와 동일한 총 오류율을 유지하는가?
• RQ5 어떤 네트워크 기반 애플리케이션에서 RBF가 표준 블룸 필터보다 측정 가능한 성능 향상을 제공하는가?

주요 결과

• 비트를 무작위로 전환함에 있어 리터치드 블룸 필터(RBF)는 거짓 양성 결과 감소와 함께 거짓 음성 결과가 증가하더라도 원래 블룸 필터와 동일한 총 오류율을 유지한다.
• RBF 구축을 위한 히ュ리스틱 알고리즘은 거짓 음성 결과 증가 폭을 초월해 거짓 양성 결과 감소 폭이 더 크므로 실질적으로 유리한 트레이드오프를 제공한다.
• RBF는 대역폭이나 필터 크기를 늘리지 않고도 가장 해로운 거짓 양성 결과—예를 들어 자주 관측되는 IP 주소와 관련된 것들—을 제거할 수 있도록 한다.
• RBF는 트레이서outing 모니터를 사용한 분산 토폴로지 탐색과 같은 네트워크 측정 애플리케이션에서 특히 효과적이며, 고빈도 주소에서 발생하는 거짓 양성 결과로 인한 성능 저하를 완화한다.
• RBF는 필터 크기와 총 오류율을 유지하면서도 거짓 양성 결과를 선택적으로 억제할 수 있는 능력에서 기존의 블룸 필터 변형보다 뛰어나다.
• 낮은 거짓 음성 결과율에 관용 가능한 애플리케이션은 특히 거짓 양성 결과가 균일하게 분포하지 않을 경우 RBF를 사용함으로써 오류 영향의 순차적 감소를 달성할 수 있다.