[논문 리뷰] Adaptive Learned Bloom Filter (Ada-BF): Efficient Utilization of the Classifier

Zhenwei Dai, Anshumali Shrivastava|arXiv (Cornell University)|2019. 10. 21.

Caching and Content Delivery참고 문헌 12인용 수 14

한 줄 요약

이 논문은 기계학습 분류기의 출력에서 유도된 다수의 점수 영역을 기반으로 블룸 필터의 파라미터—특히 해시 함수의 수 또는 메모리 할당량—을 동적으로 조정하는 적응형 학습된 블룸 필터 변종인 Ada-BF와 디스조인트 Ada-BF를 제안한다. 단일 임계값에 의존하는 것 대신 예측 점수의 전반적인 스펙트럼을 활용함으로써, 이 방법들은 이전의 학습된 블룸 필터 기법들에 비해 거짓 양성률(FPR)을 크게 낮추고 최대 50%의 메모리 절감을 달성한다.

ABSTRACT

Recent work suggests improving the performance of Bloom filter by incorporating a machine learning model as a binary classifier. However, such learned Bloom filter does not take full advantage of the predicted probability scores. We proposed new algorithms that generalize the learned Bloom filter by using the complete spectrum of the scores regions. We proved our algorithms have lower False Positive Rate (FPR) and memory usage compared with the existing approaches to learned Bloom filter. We also demonstrated the improved performance of our algorithms on real-world datasets.

연구 동기 및 목표

• 고정된 하나의 임계값만을 사용함으로써 분류기의 점수 정보를 낭비하는 기존 학습된 블룸 필터의 비효율성을 해결한다.
• 스트리밍 또는 네트워크 환경에서 분포 이탈이나 악성 예제에 의해 영향을 받는 강한 분류기 신뢰도 임계값 의존성 문제를 해결한다.
• 분류기 점수의 전체 분포를 활용하여 거짓 양성률(FPR)과 메모리 사용량 사이의 더 나은 트레이드오���을 달성하는 방법을 개발한다.
• 점수 분할 파라미터의 최적화가 어긋나더라도 낮은 FPR을 유지할 수 있는 강건하고 하이퍼파rameter에 관용적인 프레임워크를 제공한다.
• 실제 데이터셋인 악성 URL 탐지 및 바이러스 스캐닝에서 점수 밀도 경향에 기반한 적응적 조정이 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 각 점수 영역의 국소적 거짓 양성률(FPR) 특성에 따라 지역별로 해시 함수의 수를 적응적으로 조정하는 Ada-BF를 제안한다.
• 분류기의 출력을 K개의 영역으로 나누는 점수 분할 전략을 사용하며, 각 영역에 대해 서로 다른 해시 함수 수를 할당하여 총 FPR을 최소화한다.
• 다양한 크기의 블룸 필터를 서로 다른 점수 영역에 할당하여, 비멤버 밀도가 높은 영역에 메모리를 우선 배정할 수 있도록 하는 디스조인트 Ada-BF를 도입한다.
• 분류기의 점수 밀도와 해시 함수 수를 사용하여 각 점수 영역의 FPR 기여도를 모델링함으로써 총 FPR을 최소화하는 최적화 문제를 수립한다.
• 점수 임계값을 결정하기 위해 두 개의 하이퍼파라미터 조정 전략(K, c)을 적용하며, c는 각 영역 내 양성과 음성 밀도의 최소 비율을 제어하여 효과적인 분할을 보장한다.
• 비멤버는 점수 증가에 따라 점수 밀도가 감소하는 경향을 보이고, 멤버는 점수 증가에 따라 밀도가 증가하는 경향을 보임을 관찰함으로써, 영역별 FPR 최적화가 가능해진다.

실험 결과

연구 질문

• RQ1 단일 임계값에 의존하는 대신 분류기의 점수 출력 전반의 스펙트럼을 활용함으로써, 학습된 블룸 필터의 거짓 양성률(FPR)과 메모리 효율성을 향상시킬 수 있는가?
• RQ2 점수 영역 간에 블룸 필터 파라미터(예: 해시 함수 수)를 적응적으로 조정함으로써 전체 FPR과 메모리 사용량에 어떤 영향을 미치는가?
• RQ3 제안된 방법들은 표준 학습된 블룸 필터 및 샌드위치 학습된 블룸 필터에 비해 FPR과 메모리 사용량을 얼마나 줄일 수 있는가?
• RQ4 특히 점수 영역 수나 임계값 파라미터 선택에 대한 하이퍼파라미터 잘못 설정에 대해 제안된 방법들이 얼마나 강건한가?
• RQ5 비스무스 또는 불연속적인 점수 분포를 보이는 실세계 데이터셋(예: 바이러스 스캐닝 또는 URL 필터링)에서도 이러한 방법들이 낮은 FPR을 유지할 수 있는가?

주요 결과

• Ada-BF와 디스조인트 Ada-BF는 실세계 데이터셋인 악성 URL 탐지 및 바이러스 스캐닝에서 표준 학습된 블룸 필터(LBF) 대비 거짓 양성률(FPR)을 80% 이상 감소시킨다.
• 0.2%의 FPR을 달성하기 위해 Ada-BF는 단지 150Kb의 메모리만 필요하며, 이는 LBF 및 샌드위치 LBF가 약 300Kb를 요구하는 것에 비해 50% 절감된 것이다.
• 비스무스 또는 불연속적인 점수 분포에서도 성능이 뛰어나며, 바이러스 스캔 데이터셋에서 분류기 점수 분포가 불연속적이고 비대칭임을 고려할 때도 동일하게 강력한 성능을 유지한다.
• 영역 수 K를 고정하고 밀도 비율 임계값 c만 조정하는 것으로도 최적의 경우(모든 K와 c를 동시에 조정)와 거의 동일한 FPR 성능을 달성함으로써, 하이퍼파라미터 잘못 설정에 대한 강건성을 입증한다.
• 샌드위치 학습된 블룸 필터는 항상 표준 LBF를 초월하지 못하며, 저 FPR 및 고 FNR을 위해 임계값을 설정할 경우 종종 최적 구성이 표준 LBF로 수렴하기 때문이다.
• 바이러스 스캔 데이터셋에서 기계학습 모델은 98%의 정확도를 달성했고, 제안된 방법들은 모든 베이스라인을 뛰어넘어 효과성을 확인했다.