[논문 리뷰] Frequency Estimation in Data Streams: Learning the Optimal Hashing Scheme

Dimitris Bertsimas, Vassilis Digalakis|arXiv (Cornell University)|2020. 07. 17.

Caching and Content Delivery참고 문헌 48인용 수 5

한 줄 요약

이 논문은 혼합정수선형계획법(MILP)과 기계학습을 활용해 해싱 체계를 최적화함으로써 데이터 스트림에서 주파수 추정을 위한 학습 기반 접근법을 제안한다. 관측된 스트림 프리픽스를 활용해 이미 본 요소들에 대해 근사 최적의 해싱 할당을 계산하고, 아직 보지 못한 요소들을 위한 분류기 모델을 학습함으로써, 기존 최신 기술 대비 평균 추정 오차가 1~2개 주기수 낮고, 기대 오차 크기의 45~90%가 감소하는 결과를 도출한다.

ABSTRACT

We present a novel approach for the problem of frequency estimation in data streams that is based on optimization and machine learning. Contrary to state-of-the-art streaming frequency estimation algorithms, which heavily rely on random hashing to maintain the frequency distribution of the data steam using limited storage, the proposed approach exploits an observed stream prefix to near-optimally hash elements and compress the target frequency distribution. We develop an exact mixed-integer linear optimization formulation, which enables us to compute optimal or near-optimal hashing schemes for elements seen in the observed stream prefix; then, we use machine learning to hash unseen elements. Further, we develop an efficient block coordinate descent algorithm, which, as we empirically show, produces high quality solutions, and, in a special case, we are able to solve the proposed formulation exactly in linear time using dynamic programming. We empirically evaluate the proposed approach both on synthetic datasets and on real-world search query data. We show that the proposed approach outperforms existing approaches by one to two orders of magnitude in terms of its average (per element) estimation error and by 45-90% in terms of its expected magnitude of estimation error.

연구 동기 및 목표

• 제한된 스토리지 환경에서 고속도의 데이터 스트림에서 주파수 추정 문제를 해결하기 위해.
• 관측된 스트림 프리픽스에서 유사 최적의 해싱 체계를 학습함으로써 무작위 해싱보다 개선된 주파수 추정 성능를 달성하기 위해.
• 실시간 성능과 낮은 공간 복잡도를 유지하면서도 추정 오차를 크게 줄이는 방법을 개발하기 위해.
• 하이브리드 최적화 및 기계학습 기반 접근법을 통해 이미 보았고 보지 못한 요소들에 모두 정확한 주파수 추정을 가능하게 하기 위해.

제안 방법

• 관측된 스트림 프리픽스에 포함된 요소들의 추정 오차를 최소화하기 위해 최적 해싱 문제를 혼합정수선형계획형식(MILP)으로 수식화한다.
• 대규모 인스턴스에 대한 스케일러블한 해법을 확보하기 위해 블록좌표강하법을 적용하며, 특수 케이스에 대해서는 정확한 동적계획법을 사용한다.
• 분수형 추정 오차와 공동 해싱 확률에서 발생하는 이차항을 선형화하기 위해 보조 변수를 도입한다.
• 특징을 기반으로 아직 보지 못한 요소들을 버킷에 매핑하기 위한 분류기를 학습시켜 실시간 주파수 추정을 가능하게 한다.
• 각 버킷 내 빈도의 평균을 취하는 스케치 기반 쿼리 메커니즘을 사용한다.
• 블룸 필터를 통해 적응형 업데이트를 지원하여 새로 관측된 요소들의 빈도 수를 유지한다.

실험 결과

연구 질문

• RQ1 관측된 스트림 프리픽스에 포함된 요소들에 대해 주파수 추정 오차를 최소화하는 최적의 해싱 체계를 학습할 수 있는가?
• RQ2 기계학습을 활용해 아직 보지 못한 요소들로의 최적 해싱를 확장하면서도 낮은 공간 복잡도와 실시간 성능를 유지할 수 있는가?
• RQ3 학습 기반 해싱가 무작위 해싱 대비 추정 오차 측면에서 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ4 제안된 최적화 및 학습 프레임워크는 대규모 데이터 스트림 환경에서 얼마나 스케일러블한가?

주요 결과

• 제안된 방법은 기존 스트리밍 알고리즘 대비 요소당 평균 추정 오차를 1~2개 주기수 낮춘다.
• 기대 오차 크기는 기준 방법 대비 45~90% 감소한다.
• MILP 수식은 수천 개의 요소를 포함한 문제에 대해 정확한 해를 도출할 수 있으며, 블록좌표강하 알고리즘은 수만 개의 요소까지 스케일링 가능하다.
• 동적계획법 변형은 특수 케이스를 선형 시간 내에 해결함으로써, 구조화된 인스턴스에 대한 계산 효율성을 입증한다.
• 실제 웹 검색 쿼리 데이터에 대한 실증 평가 결과, 최신 기술 대비 뛰어난 성능을 확보한다.
• 학습 후 업데이트 및 쿼리 시간이 일정하게 유지되어 실시간 및 부분선형 스토리지 제약 조건을 충족한다.