[논문 리뷰] A Model for Learned Bloom Filters, and Optimizing by Sandwiching

Michael Mitzenmacher|arXiv (Cornell University)|2019. 01. 03.

Caching and Content Delivery참고 문헌 10인용 수 63

한 줄 요약

이 논문은 학습된 Bloom 필터를 형식화하고, 보장 및 위양성(false positives)을 분석하며 샌드위칭 최적화를 도입하고, 학습된 Bloomier 필터로 확장한다.

ABSTRACT

Recent work has suggested enhancing Bloom filters by using a pre-filter, based on applying machine learning to determine a function that models the data set the Bloom filter is meant to represent. Here we model such learned Bloom filters,, with the following outcomes: (1) we clarify what guarantees can and cannot be associated with such a structure; (2) we show how to estimate what size the learning function must obtain in order to obtain improved performance; (3) we provide a simple method, sandwiching, for optimizing learned Bloom filters; and (4) we propose a design and analysis approach for a learned Bloomier filter, based on our modeling approach.

연구 동기 및 목표

• 기본 Bloom 필터와 비교하여 학습된 Bloom 필터의 보장 및 한계를 명확히 설명한다.
• 향상된 성능을 달성하기 위해 학습 함수의 필요한 크기를 추정하는 형식적 모델을 개발한다.
• 학습 함수 주변의 초기 Bloom 필터와 백업 Bloom 필터를 포함하는 샌드위칭 최적화를 제안하고 분석한다.
• 학습된 Bloomier 필터 및 관련 구조에 대한 모델링 접근법을 확장한다.

제안 방법

• 학습된 Bloom 필터를 세 부분 구조로 모델링한다: 학습 함수 f, 임계값 tau, 그리고 백업 Bloom 필터 B.
• 쿼리 분포에 대해 학습된 Bloom 필터의 위양성률 모델을 도출한다.
• 샌드위칭(학습 함수 전에 프리필터 Bloom 필터를 두고 학습 함수 뒤에 백업 필터를 두는 방식)이 위양성을 줄일 수 있음을 보이고 최적의 비트 할당을 분석한다.
• 주어진 예산 제약에서 학습된 Bloom 필터를 표준 Bloom 필터와 비교하는 공식을 제공한다.
• 데이터 집합이 바뀌는 경우의 삽입/삭제 및 재학습을 포함한 실용적 고려사항과 강건성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 학습된 Bloom 필터와 표준 Bloom 필터에 대해 어떤 보장을 할 수 있는가?
• RQ2 주어진 예산에서 성능 향상을 달성하기 위해 학습 함수의 크기를 어떻게 선택해야 하는가?
• RQ3 샌드위칭은 위양성률을 개선하는가, 그리고 두 Bloom 필터 간 비트는 어떻게 할당되어야 하는가?
• RQ4 학습된 Bloomier 필터 및 관련 데이터 구조에 분석을 어떻게 확장할 수 있는가?
• RQ5 쿼리 스트림의 분포 변화에 대해 학습된 Bloom 필터가 얼마나 robust한가(조건은 무엇인가)?

주요 결과

• 형식적 모델은 학습된 Bloom 필터가 쿼리 분포 의존적인 위양성을 가지며 적합한 데이터 분포에서 표준 Bloom 필터보다 뛰어날 수 있음을 보인다.
• 주어진 백업 필터 크기에 대해 학습된 Bloom 필터에 대한 명시적 위양성률 함수 Fp+(1−Fp)α^{b/Fn}을 도출한다.
• 선행 학습 함수 이전의 초기 Bloom 필터와 이후의 백업 Bloom 필터를 포함하는 샌드위칭은 위양성을 감소시킬 수 있으며, 일부 영역에서는 최적의 백업 크기가 전체 예산에 독립적으로 일정하게 유지된다.
• 샌드위치 구성에 대한 최적 예산은 백업 필터에 고정된 비트를 할당하고 남은 비트를 초기 필터에 할당하여 성능이 향상된다.
• 이 프레임워크는 학습된 Bloomier 필터로 일반화되어 유사한 분석 및 최적화를 가능하게 한다.