[논문 리뷰] A Space-Efficient Dynamic Dictionary for Multisets with Constant Time Operations

Ioana O. Bercea, Guy Even|arXiv (Cornell University)|2020. 05. 05.

Caching and Content Delivery참고 문헌 27인용 수 4

한 줄 요약

이 논문은 다중집합에 대해 최초로 공간 효율적인 동적 사전을 제안하며, 삽입, 삭제, 다중도 조회 연산을 모두 최악의 경우 상수 시간 내에 수행할 수 있도록 한다. 이는 Arbitman 등(2010)이 제기한 열린 문제를 해결하기 위해, 로그 스케일 무게를 가진 공을 통한 '공을 통에 던지기' 실험 기법을 도입하여 가변 길이의 이진 카운터를 효율적으로 저장함으로써 달성된다.

ABSTRACT

We consider the dynamic dictionary problem for multisets. Given an upper bound $n$ on the total cardinality of the multiset (i.e., including multiplicities) at any point in time, the goal is to design a data structure that supports multiplicity queries and allows insertions and deletions to the multiset (i.e., the dynamic setting). The data structure must be space-efficient (the space is $1+o(1)$ times the information-theoretic lower bound) and support all operations in constant time with high probability. In this paper, we present the first dynamic dictionary for multisets that achieves these performance guarantees. This answers an open problem of Arbitman, Naor and Segev (FOCS 2010). The previously best-known construction of Pagh, Pagh and Rao (SODA 2005) supports membership in constant time, multiplicity queries in $O(\log n)$ time in the worst case, and insertions and deletions in constant expected amortized time. The main technical component of our solution is a strategy for efficiently storing variable-length binary counters using weighted balls-into-bins experiments in which balls have logarithmic weights. We also obtain a counting filter that approximates multiplicity queries with a one sided error, using the reduction of Carter et al. (STOC 1978). Counting filters have received significant attention over the years due to their applicability in practice.We present the first counting filter with constant time operations.

연구 동기 및 목표

• 모든 연산이 높은 확률로 최악의 경우 상수 시간 내에 수행되며 공간 효율적인 다중집합 동적 사전을 설계하는 것.
• Arbitman, Naor, Segev(2010)가 제기한 열린 문제, 즉 상수 시간 동적 다중집합 사전이 최적의 공간 사용을 달성할 수 있는지 여부를 해결하는 것.
• 기존의 평균 또는 기대 시간 복잡도에서 최악의 경우 상수 시간 연산으로의 기술적 전환을 통해, 이전의 $O(\log n)$ 다중도 조회 시간을 개선하는 것.
• 핵심 구성 요소로 다중집합 사전을 사용하여, 상수 시간 연산과 한쪽 오류를 가진 카운팅 필터를 구축하는 것.
• 다중집합의 정보 이론적 하한선인 $n\log(u/n) + \Theta(n)$ 비트의 $1+o(1)$ 배 이내로 공간 사용을 이룰 것

제안 방법

• 가변 길이 이진 카운터를 효율적으로 표현하기 위해, 로그 스케일 무게를 가진 공을 사용하는 가중치가 부여된 공을 통에 던지기 모델을 활용한다.
• 우리의 우주를 $M$개의 부분으로 나누기 위해 $k$-wise $\delta$-의존성 순열을 사용하여, 높은 확률로 균형 잡힌 로드 분포를 확보한다.
• 로드 균형을 유지하면서 요소들을 부분으로 매핑하기 위해 $k'$-wise 독립 해시 함수 기반의 의사난수 분할 기법을 적용한다.
• Chernoff 추정을 사용하여 $k'$-wise 독립 랜덤 변수에 대해, 각 부분의 다중집합 기수의 크기가 높은 확률로 $n^{1/10} + n^{3/40}\log^{3/2}n$ 이하로 제한됨을 증명한다.
• 높은 기수(≥ $\log^3 n$)를 가진 요소들을 위한 여유 저장소를 도입하여, 상수 시간 연산을 유지한다.
• 요소들을 지문으로 해시하여 쌍별 독립성을 확보함으로써, 카운팅 필터 문제를 다중집합 사전 문제로 환원하고, 한쪽 오류를 가진 상수 시간 근사 다중도 조회를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 연산이 높은 확률로 최악의 경우 상수 시간 내에 수행되며 공간 효율적인 동적 다중집합 사전을 구축할 수 있는가?
• RQ2 최적의 공간 사용(정보 이론적 하한선의 $1+o(1)$ 배 이내)을 유지하면서도 상수 시간 연산을 달성할 수 있는가?
• RQ3 Arbitman 등(2010)의 집합에 대한 기법을 임의의 기수를 가진 다중집합으로 확장할 수 있는가?
• RQ4 의사난수 분할 기법 하에서 각 파art의 다중집합 최대 기수는 얼마이며, 이는 높은 확률로 유계가 되는가?
• RQ5 동적 다중집합 사전을 구성 요소으로 사용하여, 상수 시간 연산과 한쪽 오류를 가진 카운팅 필터를 구축할 수 있는가?

주요 결과

• 제안된 동적 다중집합 사전은 삽입, 삭제, 다중도 조회 연산을 모두 최악의 경우 상수 시간 내에 수행할 수 있으며, 높은 확률로 보장된다.
• 공간 사용은 정보 이론적 하한선인 $n\log(u/n) + \Theta(n)$ 비트의 $1+o(1)$ 배 이내로, 최적의 공간 효율성을 달성한다.
• 분할 후 각 다중집합 파art의 기수는 높은 확률로 $n^{1/10} + n^{3/40}\log^{3/2}n$ 이하로 제한되며, 이는 로드 균형을 보장한다.
• 가변 길이 카운터를 효율적으로 저장하기 위해, 로그 스케일 무게를 가진 공을 사용하는 새로운 가중치가 부여된 공을 통에 던지기 모델을 도입하였다.
• 공간 사용이 $O(n\log(1/\varepsilon))$ 비트 이내이며, 상수 시간 연산과 오차가 $\varepsilon$ 이하인 한쪽 오류를 가진 카운팅 필터를 구축하였다.
• Arbitman, Naor, Segev(2010)가 제기한 열린 문제를 해결하였으며, 최적의 공간 사용과 최악의 경우 상수 시간 연산을 동시에 달성하는 최초의 동적 다중집합 사전을 제공한다.