[논문 리뷰] The Wavelet Trie: Maintaining an Indexed Sequence of Strings in Compressed Space

Roberto Grossi, Giuseppe Ottaviano|arXiv (Cornell University)|2012. 04. 16.

Network Packet Processing and Optimization참고 문헌 1인용 수 4

한 줄 요약

논문은 웨이블릿 트라이를 소개한다. 이는 파트리시아 트라이와 웨이블릿 트리를 조합하여 거의 최적의 공간에서 인덱스가 매겨진 문자열 시퀀스를 효율적으로 유지하는 압축된 데이터 구조이다. 이는 접근, 순위, 선택, 삽입, 삭제, 접두사 쿼리와 같은 동적 연산을 near-entropy 공간 점유율과 다항로그 시간 복잡도로 지원하며, 동적 문자열 시퀀스에 대해 높은 공간 효율성과 강력한 이론적 보장을 제공한다.

ABSTRACT

An indexed sequence of strings is a data structure for storing a string sequence that supports random access, searching, range counting and analytics operations, both for exact matches and prefix search. String sequences lie at the core of column-oriented databases, log processing, and other storage and query tasks. In these applications each string can appear several times and the order of the strings in the sequence is relevant. The prefix structure of the strings is relevant as well: common prefixes are sought in strings to extract interesting features from the sequence. Moreover, space-efficiency is highly desirable as it translates directly into higher performance, since more data can fit in fast memory. We introduce and study the problem of compressed indexed sequence of strings, representing indexed sequences of strings in nearly-optimal compressed space, both in the static and dynamic settings, while preserving provably good performance for the supported operations. We present a new data structure for this problem, the Wavelet Trie, which combines the classical Patricia Trie with the Wavelet Tree, a succinct data structure for storing a compressed sequence. The resulting Wavelet Trie smoothly adapts to a sequence of strings that changes over time. It improves on the state-of-the-art compressed data structures by supporting a dynamic alphabet (i.e. the set of distinct strings) and prefix queries, both crucial requirements in the aforementioned applications, and on traditional indexes by reducing space occupancy to close to the entropy of the sequence.

연구 동기 및 목표

• 압축된 공간에서 색인화되고 쿼리 가능한 문자열 시퀀스를 위한 공간 효율적이고 동적일 수 있는 데이터 구조의 필요성을 해결하기 위해.
• 문자열 순서와 반복이 중요한 시퀀스에서 접두사 쿼리(예: 공통 접두사에 대한 순위 및 선택)를 효율적으로 지원하기 위해.
• 삽입, 삭제, 추가 등의 동적 업데이트를 유지하면서도, 시퀀스의 엔트로피에 가까운 압축된 공간 점유율을 유지하기 위해.
• 알파벳에 대한 사전 지식 없이도 임의의 유니버스의 문자열을 다룰 수 있도록 랜덤화된 해시 함수를 사용하여 높은 확률로 균형 잡힌 구조를 보장하기 위해.
• 정적 및 동적 환경에서 기본 연산인 접근, 순위, 선택에 대한 시간 및 공간 복잡도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 파트리시아 트라이와 웨이블릿 트리를 조합하여 시퀀스를 압축하면서도 효율적인 액세스 및 쿼리 연산을 유지한다.
• 유니버스 $ U $에서 원소를 이진 문자열로 매핑하기 위해 랜덤화된 해시 함수 $ h_a(x) = ax \mod 2^{\lceil \log u \rceil} $ 를 사용하여 트라이 깊이가 높은 확률로 균형을 이루도록 한다.
• 해시된 문자열 레이블의 시퀀스에 웨이블릿 트리를 적용하여 레이블에 대한 압축 표현과 효율적인 순위/선택 연산을 가능하게 한다.
• 역해시 함수를 사용하여 결과를 원래 값으로 다시 매핑하여 연산의 정확성을 유지한다.
• 이전 연구의 보조정리 6.1을 활용하여, 높은 확률로 해시의 첫 $ \ell = (\alpha+2)\log|\Sigma| $ 비트가 알파벳 $ \Sigma $ 내의 모든 문자열을 구분함을 증명한다. 이는 균형 잡힌 트라이 높이를 보장한다.
• 해시된 문자열 위에 웨이블릿 트라이를 유지함으로써 동적 연산을 지원하며, 업데이트가 웨이블릿 트리 구조를 통해 전파된다.

실험 결과

연구 질문

• RQ1 압축된 공간 점유율이 시퀀스의 엔트로피에 가까운 동적 문자열 시퀀스에 대해 동적 연산을 지원하는 압축된 데이터 구조를 설계할 수 있는가?
• RQ2 압축되고 동적인 환경에서 접두사 쿼리(예: 주어진 접두사를 가진 문자열의 수를 세거나 선택하는 것)를 어떻게 효율적으로 지원할 수 있는가?
• RQ3 알파벳이 사전에 알려져 있지 않거나 동적으로 증가하는 경우에도 좋은 시간 복잡도를 유지할 수 있는가?
• RQ4 명시적인 재균형 조치 없이도 랜덤화만으로 해시된 값에 대한 트라이에서 균형 잡힌 트라이 깊이를 달성할 수 있는가?
• RQ5 동적이고 압축된 문자열 시퀀스 데이터 구조에서 공간 효율성과 쿼리/업데이트 시간 간의 상호 교환 관계는 어떠한가?

주요 결과

• 웨이블릿 트라이는 동적 문자열 시퀀스에서 모든 표준 연산—Access, Rank, Select, Insert, Delete—을 $ O(\log u + h\log n) $ 시간 내에 수행할 수 있으며, 여기서 $ h \leq (\alpha+2)\log|\Sigma| $ 는 높은 확률로 성립한다.
• 공간 점유율은 $ O(nH_0(S) + |\Sigma|w + |\Sigma|\log u) $ 비트 이내로 제한되며, 이는 시퀀스에 대해 거의 엔트로피 압축을 달성한다.
• 높은 확률로 트라이의 높이는 $ (\alpha+2)\log|\Sigma| $ 이내로 제한되며, 이는 임의의 입력 집합에 대해서도 균형 잡힌 성능을 보장한다.
• 랜덤 해시 함수의 사용으로 인해, 모든 알파벳 내 문자열이 첫 $ \ell $ 비트로 구분될 확률이 $ 1 - |\Sigma|^{-\alpha} $ 이상이 되며, 이는 균형 잡힌 구조를 가능하게 한다.
• 해시된 문자열 기반의 범위에 대해 웨이블릿 트리 연산을 확장함으로써 접두사 쿼리(RankPrefix, SelectPrefix)를 효율적으로 지원한다.
• 수치적 값을 길이 $ \lceil \log u \rceil $ 의 이진 문자열로 해시함으로써 비문자열 데이터에 일반화할 수 있으며, 이는 임의의 유니버스에 적용 가능하게 한다.