[논문 리뷰] Fast Longest Common Extensions in Small Space

Alberto Policriti, Nicola Prezza|arXiv (Cornell University)|2016. 07. 22.

Algorithms and Data Compression참고 문헌 10인용 수 3

한 줄 요약

이 논문은 메르센 소수와 일반 소수 모듈로를 사용한 카르프-라빈 지문 기반으로, 길이가 같은 공통 부분문자열(LCE) 문제를 위한 두 가지 새로운 공간 효율적인 데이터 구조를 제안한다. 첫 번째 구조는 오직 $n\lceil\log_2\sigma\rceil$ 비트만을 사용하며, 높은 확률로 $\mathcal{O}(\log \ell)$ 시간 내에 LCE 쿼리를 지원하고, 최적의 공간에서 부분선형 쿼리 시간을 달성한다. 또한 두 구조 모두 빠른 부분문자열 추출을 지원하며, $\mathcal{O}(n)$ 시간 내에 구축된다.

ABSTRACT

In this paper we address the longest common extension (LCE) problem: to compute the length $\ell$ of the longest common prefix between any two suffixes of $T\in Σ^n$ with $ Σ= \{0, \ldots σ-1\} $. We present two fast and space-efficient solutions based on (Karp-Rabin) extit{fingerprinting} and extit{sampling}. Our first data structure exploits properties of Mersenne prime numbers when used as moduli of the Karp-Rabin hash function and takes $n\lceil \log_2σ ceil$ bits of space. Our second structure works with any prime modulus and takes $n\lceil \log_2σ ceil + n/w + w\log_2 n$ bits of space ($ w $ memory-word size). Both structures support $\mathcal O\left(m\logσ/w ight)$-time extraction of any length-$m$ text substring, $\mathcal O(\log\ell)$-time LCE queries with high probability, and can be built in optimal $\mathcal O(n)$ time. In the first case, ours is the first result showing that it is possible to answer LCE queries in $o(n)$ time while using only $\mathcal O(1)$ words on top of the space required to store the text. Our results improve the state of the art in space usage, query times, and preprocessing times and are extremely practical: we present a C++ implementation that is very fast and space-efficient in practice.

연구 동기 및 목표

• 원본 텍스트의 크기 이외에 추가 공간을 거의 사용하지 않으면서 부분선형 쿼리 시간을 보장하는 LCE 문제를 위한 데이터 구조를 설계하는 것.
• 카르프-라빈 지문 기반에서 메르센 소수의 성질을 활용하여 최적의 공간 사용과 빠른 쿼리 성능를 달성하는 것.
• 기존의 최적 공간과 빠른 쿼리 성능를 유지하면서도 임의의 소수 모듈로로도 적용 가능한 방법을 확장하는 것.
• 기존 몬테카를로 및 결정적 LCE 솔루션보다 공간, 쿼리 시간, 프리프로세싱 시간 측면에서 향상된 성능를 달성하는 것.
• 인간 게놈과 같은 대규모 텍스트에서 실용적인 효율성과 성능를 평가하기 위해 제안된 구조를 구현하고 평가하는 것.

제안 방법

• 메르센 소수 모듈로 $q = 2^p - 1$ 를 사용한 카르프-라빈 지문 기반으로 부분문자열 비교 및 해시 값 기반 이진 탐색을 통한 LCE 계산을 효율적으로 수행하는 방법.
• 이진 탐색 중 상수 시간 해시 비교를 지원하기 위해 $q$ 모듈로 하에서 $2^{2^i}$ 의 값을 사전에 계산하고 저장하여 $z_i = 2^{2^i} \mod q$ 로 정의.
• 이중 탐색을 적용하여 이진 탐색의 범위를 $\mathcal{O}(n)$ 에서 $\mathcal{O}(\ell)$ 으로 줄여 평균 쿼리 시간을 향상.
• 일반 소수 모듈로의 경우, 최악의 $\mathcal{O}(\log \ell)$ LCE 쿼리와 $\mathcal{O}(m\log\sigma/w)$ 부분문자열 추출을 지원하기 위해 $n/w + w\log_2 n$ 비트의 추가 저장 공간을 확보.
• 선형 순회를 통해 접두사 지문을 계산하고 필요한 값을 샘플링하여 $\mathcal{O}(n)$ 시간 내에 데이터 구조를 구축.
• 사전에 계산된 $z_i$ 값을 기반으로 한 샘플링 전략을 사용하여 이진 탐색 중 부분문자열 비교를 상수 시간에 수행.

실험 결과

연구 질문

• RQ1 원본 텍스트 이외에 $\mathcal{O}(1)$ 단위의 추가 공간만을 사용하면서도 $o(n)$ 시간 내에 LCE 쿼리를 처리할 수 있는가?
• RQ2 카르프-라빈 지문 기반에서 메르센 소수를 사용하면 최적의 공간 사용과 부분선형 쿼리 시간을 달성할 수 있는가?
• RQ3 오직 $n\lceil\log_2\sigma\rceil$ 비트의 공간만을 사용하면서도 높은 확률로 $\mathcal{O}(\log \ell)$ 시간 내에 LCE 쿼리를 수행할 수 있는가?
• RQ4 기존의 방법을 임의의 소수 모듈로로 일반화할 수 있으며, 공간 또는 시간 오버헤드 없이 성능를 유지할 수 있는가?
• RQ5 제안된 구조의 실용적 성능는 기존의 구현 대비 속도, 메모리 사용량, 구축 시간 측면에서 어떻게 비교되는가?

주요 결과

• 첫 번째 데이터 구조는 오직 $n\lceil\log_2\sigma\rceil$ 비트의 공간만을 사용하며, 이는 텍스트를 저장하는 데 필요한 크기와 동일하다. 이는 높은 확률로 $\mathcal{O}(\log \ell)$ 시간 내에 LCE 쿼리를 지원하며, 최적의 공간에서 부분선형 쿼리 시간을 달성한 최초의 결과이다.
• 메르센 소수 기반의 C++ 구현은 인간 게놈의 30억 문자 분량의 접두사에서 평균적으로 LCE 쿼리당 710 ns, 단일 문자 접근당 160 ns의 성능를 기록했으며, 2비트/문자 저장소 이외에 오직 560바이트의 추가 메모리만을 사용했다.
• 표준 컴퓨터에서 170초 내에 데이터 구조가 구축되었으며, 이는 최적의 $\mathcal{O}(n)$ 프리프로세싱 시간을 보여준다.
• 두 번째 구조는 최악의 경우 $\mathcal{O}(\log \ell)$ LCE 쿼리와 $\mathcal{O}(m\log\sigma/w)$ 부분문자열 추출을 $n\lceil\log_2\sigma\rceil + n/w + w\log_2 n$ 비트의 공간에서 지원하며, 이는 이전 몬테카를로 솔루션 대비 공간과 시간 측면에서 향상된 성능를 보인다.
• LCE 쿼리에서 직접 메모리 접근보다 10배 빠른 성능를 기록하면서도 최소한의 추가 공간을 사용하여 실용성과 높은 성능를 입증했다.
• 결과적으로 $o(n)$-시간 LCE 쿼리는 최적의 공간에서 실현 가능하며, 메르센 소수의 사용은 이론적 최적성과 실용적 효율성을 동시에 달성할 수 있음을 보여주었다.