[논문 리뷰] Optimizing Learned Bloom Filters by Sandwiching

Michael Mitzenmacher|arXiv (Cornell University)|2018. 03. 05.

Caching and Content Delivery참고 문헌 1인용 수 4

한 줄 요약

이 논문은 성능을 햖스키기 위해 표준 블룸 필터를 학습된 함수 이전에, 백업 블룸 필터를 이후에 놓는 '샌드위치형 학습된 블룸 필터'를 제안한다. 이는 거짓 양성 결과를 크게 감소시킨다. 주요 결과는 총 메모리 예산과 관계없이 백업 필터의 최적 크기가 일정하다는 것이며, 이는 메모리가 증가함에 따라 초기 블룸 필터가 주요 공간 투자 대상이 된다는 것을 의미한다.

ABSTRACT

We provide a simple method for improving the performance of the recently introduced learned Bloom filters, by showing that they perform better when the learned function is sandwiched between two Bloom filters.

연구 동기 및 목표

• 기계 학습된 함수를 사용해 집합 표현을 압축하는 데 쓰이는 학습된 블룸 필터의 효율성과 견고성을 향상시키기 위해.
• 학습 데이터와 다름없는 쿼리 분포에서 벗어날 경우 학습된 블룸 필터에서 발생하는 높은 거짓 양성 비율 문제를 해결하기 위해.
• 학습된 블룸 필터 파이프라인에서 초기 필터와 백업 필터 간의 최적 메모리 할당을 규명하기 위해.
• 학습된 함수를 두 개의 블룸 필터 사이에 끼워넣는 '샌드위치 구조'가 원래의 단일 블룸 필터 설계보다 더 나은 성능을 낸다는 것을 보여주기 위해.

제안 방법

• 이 방법은 샌드위치 아키텍처를 도입한다: 초기 블룸 필터가 학습된 함수 이전에 비멤버를 걸러내고, 이후에 백업 블룸 필터가 학습된 함수에서 발생한 거짓 음성 결과를 수정한다.
• 거짓 양성 비율은 $ \alpha^{b_1}(F_p + (1-F_p)\alpha^{b_2/F_n}) $ 로 모델링되며, 여기서 $ b_1 $ 과 $ b_2 $ 는 각각 초기 필터와 백업 필터의 키당 비트 수이다.
• 거짓 양성 비율을 최소화함으로써 백업 필터의 최적 크기를 유도하여 $ b_2 = F_n \log_\alpha \left( \frac{F_p}{(1-F_p)(1/F_n - 1)} \right) $ 를 도출한다.
• 분석은 블룸 필터의 거짓 양성 비율이 $ \alpha^j $ 로 지수적으로 감소한다고 가정하며, 표준 블룸 필터의 경우 $ \alpha \approx 0.6185 $ 이고, 완벽한 해시 기반 필터의 경우 $ \alpha = 0.5 $ 이다.
• 최적의 $ b_2 $ 가 도달된 이후에는 초기 필터 크기를 늘리는 것이 백업 필터 크기를 늘리는 것보다 더 효과적임을 보여줌으로써 메모리 할당을 최적화한다.
• 학습된 함수의 오류가 초기 필터를 통과한 키의 작은 부분집합에 국한되기 때문에, 이 방법은 쿼리 워크로드의 분포 변화에 대해 견고하다.

실험 결과

연구 질문

• RQ1 필터 파이프라인의 구조를 수정함으로써 학습된 블룸 필터의 성능을 향상시킬 수 있는가?
• RQ2 학습된 블룸 필터 시스템에서 초기 블룸 필터와 백업 블룸 필터 간의 최적 메모리 할당은 무엇인가?
• RQ3 백업 블룸 필터의 크기는 총 메모리 예산에 따라 달라지는가, 아니면 일정한가?
• RQ4 샌드위치 구조는 쿼리 워크로드의 분포 변화 상황에서 거짓 양성 비율과 견고성에 어떤 영향을 미치는가?

주요 결과

• 백업 블룸 필터의 최적 크기는 일정하며 총 메모리 예산과 독립적이며, 할당된 총 비트 수에 비례해 증가하지 않는다.
• $ F_n = 1/2 $ 이고 $ F_p = 1/100 $ 인 경우, $ \alpha = 1/2 $ 일 때 최적의 백업 필터 크기는 약 3.315 비트 키당이다.
• 총 예산이 8 비트 키당일 때, 거짓 양성 비율은 약 0.010015 에서 약 0.000777 로 감소하여 10배 이상 감소한다.
• 6 비트 키당일 때도 거짓 양성 비율은 약 0.010242 에서 약 0.003109 로 감소하여, 최소한의 오버헤드로도 상당한 향상이 이루어진다.
• 이 방법은 전체 거짓 양성 비율을 낮게 유지하면서도 더 약한, 더 작은 학습된 함수(더 높은 $ F_p $) 를 사용할 수 있게 해주어 공간 절약을 가능하게 한다.
• 샌드위치 설계는 초기 필터를 통과한 키의 수가 매우 적기 때문에, 쿼리의 분포 변화에 대한 영향을 제한함으로써 견고성을 향상시킨다.