[논문 리뷰] Space-Efficient String Indexing for Wildcard Pattern Matching

Moshe Lewenstein, Yakov Nekrich외 1명|arXiv (Cornell University)|2014. 01. 03.

Algorithms and Data Compression참고 문헌 8인용 수 8

한 줄 요약

이 논문은 $o(n\log n)$ 비트의 공간을 사용하면서도 효율적인 쿼리를 지원하는 최초의 와일드카드 패턴 매칭을 위한 압축된 데이터 구조를 제안한다. 서브라인어 공간을 달성하면서도, 상수 알파벳에 대해 이전의 선형공간 솔루션보다 크게 향상된 $O(m + \sigma^g \sqrt{\log^{(3)}n} + \mathrm{occ})$ 쿼리 시간을 가지는 $O(n\log^\varepsilon n)$-비트 색인을 도입한다.

ABSTRACT

In this paper we describe compressed indexes that support pattern matching queries for strings with wildcards. For a constant size alphabet our data structure uses $O(n\log^{\varepsilon}n)$ bits for any $\varepsilon>0$ and reports all $\mathrm{occ}$ occurrences of a wildcard string in $O(m+σ^g \cdotμ(n) + \mathrm{occ})$ time, where $μ(n)=o(\log\log\log n)$, $σ$ is the alphabet size, $m$ is the number of alphabet symbols and $g$ is the number of wildcard symbols in the query string. We also present an $O(n)$-bit index with $O((m+σ^g+\mathrm{occ})\log^{\varepsilon}n)$ query time and an $O(n(\log\log n)^2)$-bit index with $O((m+σ^g+\mathrm{occ})\log\log n)$ query time. These are the first non-trivial data structures for this problem that need $o(n\log n)$ bits of space.

연구 동기 및 목표

• 서브라인어 공간 사용을 위한 압축된 문자열 색인을 설계하여, 특히 $o(n\\log n)$ 비트를 사용한다.
• 특히 대규모 텍스트 색인에 대해 $\Theta(n\log n)$ 비트 이상을 요구하는 기존 데이터 구조의 비효율성을 해결한다.
• 임의의 수의 와일드카드를 가진 패턴에 대해 공간 오버헤드를 최소화하면서 효율적인 쿼리 처리를 가능하게 한다.
• 이전의 선형공간 솔루션보다 공간과 쿼리 시간 모두에서 뛰어난 성능을 달성하는 공간-쿼리 시간 간의 트레이드오���을 실현한다.

제안 방법

• 주요 및 보조 마킹 노드를 사용하여 공간을 줄이면서도 쿼리 효율성을 유지하는 계층적 샘플링을 적용한 압축된 서피크스 트리를 구축한다.
• 와일드카드 기호를 처리하기 위해 와일드카드 트리를 사용하여 병렬로 여러 경로를 분기하고 탐색하며, 활성 위치의 수를 제한한다.
• 짧은 패턴(길이 $\leq \ell$)에 대해 일치하는 와일드카드 청크를 빠르게 생성하고 위치를 검색할 수 있도록 룩업 테이블을 활용한다.
• 샘플드 서피크스 트리에서 표준 LCP 쿼리를 활용하고 와일드카드 인식 탐색을 결합하여 $O(\sigma^g \sqrt{\log^{(3)}n})$ 시간 내에 쿼리를 해결한다.
• 각 레벨이 패턴의 일부를 처리하며 최대 $t_1$개의 와일드카드를 가진 세그먼트를 처리하는 계층적 데이터 구조를 도입하여 재귀 쿼리의 수를 줄인다.
• 작은 서브트리에서는 $O(1)$ LCP 쿼리 시간을 가지는 압축된 서피크스 어레이를 사용하고, 더 큰 샘플드 서브트리에는 $\mu(n) = O(\sqrt{\log^{(3)}n})$ 시간을 가지는 압축된 LCP 구조를 적용한다.

실험 결과

연구 질문

• RQ1 와일드카드 패턴 매칭을 위한 압축된 문자열 색인을 $o(n\log n)$ 비트의 공간을 사용하여 설계할 수 있는가?
• RQ2 임의의 수의 와일드카드를 가진 와일드카드 패턴 매칭에서 공간 사용과 쿼리 시간 간의 최적 트레이드오프는 무엇인가?
• RQ3 g개의 와일드카드를 가진 패턴에 대해 서브라인어 쿼리 시간을 달성하면서도 서브라인어 공간을 유지할 수 있는가?
• RQ4 모든 $\sigma^g$가지 가능한 패턴을 명시적으로 열거하지 않고도 다중 와일드카드 세그먼트를 효율적으로 처리할 수 있는가?
• RQ5 공간을 $O(n)$ 또는 $O(n(\log\log n)^2)$ 비트로 줄였을 때도 $O(\mathrm{occ})$ 보고 시간을 유지할 수 있는가?

주요 결과

• 논문은 $O(n\log^\varepsilon n)$-비트 데이터 구조를 제시하며, $O(m + \sigma^g \sqrt{\log^{(3)}n} + \mathrm{occ})$ 시간 내에 와일드카드 패턴 매칭을 지원하여 이전 작업보다 서브라인어 공간과 향상된 쿼리 시간을 동시에 달성한다.
• 공간이 $O(n)$인 색인은 $O((m + \sigma^g + \mathrm{occ})\log^\varepsilon n)$ 시간 내에 쿼리를 지원하며, 공간을 크게 줄였고 쿼리 시간의 약간의 증가를 감수한다.
• 공간이 $O(n(\log\log n)^2)$인 색인은 $O((m + \sigma^g + \mathrm{occ})\log\log n)$ 시간 내에 쿼리를 지원하여 공간과 성능 사이의 균형을 이룬다.
• 상수 알파벳 크기 $\sigma$에 대해 쿼리 시간은 $O(m + \sigma^g \sqrt{\log^{(3)}n} + \mathrm{occ})$이며, 이는 이전의 선형공간 구조의 $O(m + \sigma^g \log\log n)$ 시간에 비해 향상된 것이다.
• 이 데이터 구조는 임의의 수의 와일드카드를 처리할 수 있으며, 계층적 샘플링과 짧은 와일드카드 세그먼트에 대한 룩업 테이블을 사용하여 $\sigma^g$가지 가능한 패턴을 명시적으로 열거하지 않아도 된다.
• 이 접근법은 더 큰 알파벳으로 일반화될 수 있다: $\sigma \geq \log\log n$일 때 $O(n\log n)$-비트 구조는 $O(m + \sigma^g + \mathrm{occ})$ 쿼리 시간을 지원하고, 일반적인 $\sigma$에 대해 $O(n\log\sigma)$-비트 구조는 $O((m + \sigma^g + \mathrm{occ})\log_\sigma^\varepsilon n)$ 시간을 지원한다.