[논문 리뷰] A Faster Grammar-Based Self-Index

Travis Gagie, Paweł Gawrychowski외 3명|arXiv (Cornell University)|2011. 09. 19.

Algorithms and Data Compression참고 문헌 28인용 수 31

한 줄 요약

이 논문은 압축된 텍스트에서 압축 저장 및 효율적인 패턴 매칭을 지원하는 더 빠른 문법 기반 자기색인을 제안한다. 직선 프로그램(SLP)에 $ r $개의 규칙과 LZ77 파싱에 $ z $개의 문구가 주어졌을 때, 색인은 $ \mathcal{O}(r + z\log\log n) $의 공간을 사용하고 패턴 쿼리를 $ \mathcal{O}(m^2 + \mathrm{occ}\log\log n) $의 시간에 응답하며, 공간과 시간 복잡도 모두 이전의 경계를 향상시킨다.

ABSTRACT

To store and search genomic databases efficiently, researchers have recently started building compressed self-indexes based on grammars. In this paper we show how, given a straight-line program with $r$ rules for a string (S [1..n]) whose LZ77 parse consists of $z$ phrases, we can store a self-index for $S$ in $\Oh{r + z \log \log n}$ space such that, given a pattern (P [1..m]), we can list the $\occ$ occurrences of $P$ in $S$ in $\Oh{m^2 + \occ \log \log n}$ time. If the straight-line program is balanced and we accept a small probability of building a faulty index, then we can reduce the $\Oh{m^2}$ term to $\Oh{m \log m}$. All previous self-indexes are larger or slower in the worst case.

연구 동기 및 목표

• 유전자 데이터와 같이 매우 반복적인 문자열을 위한 압축된 자기색인을 설계하여, 빠른 패턴 매칭과 텍스트 추출을 지원한다.
• 특히 긴 패턴에 대해, 문법 기반 압축 색인에서 패턴 매칭의 시간 복잡도를 감소시킨다.
• SLP와 LZ77 파싱을 결합하고 고급 데이터 구조를 활용하여 더 나은 공간-시간 트레이드오���을 달성한다.
• 압축된 형태로 부분문자열 추출과 패턴 발생 위치 보고를 효율적으로 지원한다.
• 균형 잡힌 SLP로의 확장을 통해 쿼리 시간을 $ \mathcal{O}(m\log m + \mathrm{occ}\log\log n) $로 향상시키고, 작은 실패 확률을 가진다.

제안 방법

• 색인은 문자열 $ S $ 를 표현하기 위해 $ r $개의 규칙을 가진 직선 프로그램(SLP)을 사용하고, 패턴 매칭을 안내하기 위해 $ z $개의 문구로 구성된 LZ77 파싱을 보강한다.
• 두 개의 보강된 패트리샤 트리를 구축한다: 하나는 문구 경계에서 시작하는 부분문자열을 위한 것이고, 다른 하나는 문구 경계에서 끝나는 부분문자열을 위한 것으로, 각각 범위 보고 정보를 저장한다.
• 짧은 패턴($ m \leq \log\log z $)의 경우, 패트리샤 트리의 상단 $ \log\log z $ 레벨에서 일차원 범위 보고 데이터 구조를 사용하여 $ \mathcal{O}(m\log m) $의 쿼리 시간을 달성한다.
• 중간 길이의 패턴($ \log\log z < m < \log z $)의 경우, 문구 경계를 가로질러서 생기는 부분문자열을 위한 별도의 패트리샤 트리를 구축하고, 각 리프에 경계를 가로질러서 생기는 위치를 $ \mathcal{O}(\log\log z) $ 비트로 저장한다.
• 웨이블릿 트리 또는 네 면 범위 보고 구조를 사용하여 범위가 비어 있는지 여부를 확인하는 쿼리를 수행하여 후보 패턴 발생 위치를 효율적으로 검증한다.
• 균형 잡힌 SLP의 경우, 패트리샤 트리의 구조적 특성을 활용하여 쿼리 시간의 $ \mathcal{O}(m^2) $ 항을 $ \mathcal{O}(m\log m) $로 감소시킨다.

실험 결과

연구 질문

• RQ1 문법 기반 패턴 매칭의 시간 복잡도를 $ \mathcal{O}(m^2) $ 에서 $ \mathcal{O}(m\log m) $ 로 감소시킬 수 있을까? 이때 하위선형 공간을 유지할 수 있을까?
• RQ2 SLP와 LZ77 파싱을 어떻게 조합하여 압축된 자기색인에서 더 나은 공간-시간 트레이드오프를 달성할 수 있을까?
• RQ3 균형 잡힌 SLP를 사용할 경우 쿼리 성능과 색인 구축 시간에 어떤 영향을 미칠까?
• RQ4 오직 $ \mathcal{O}(r + z\log\log n) $ 공간만을 사용하여도 압축된 텍스트에서 효율적인 추출과 패턴 보고를 지원할 수 있을까?
• RQ5 정확한 매칭 원리를 활용하여 근사 패턴 매칭을 지원하는 실용적인 자기색인을 설계할 수 있을까?

주요 결과

• 제안된 자기색인은 $ \mathcal{O}(r + z\log\log n) $의 공간을 사용하며, 여기서 $ r $은 SLP 규칙의 수이고 $ z $는 문자열의 LZ77 파싱에서의 문구 수이다.
• 패턴 매칭은 $ \mathcal{O}(m^2 + \mathrm{occ}\log\log n) $ 시간에 지원되며, 이는 이전의 $ \mathcal{O}(m^2 \log(\log n / \log r') + \mathrm{occ}\log r') $ 경계를 향상시킨다.
• 균형 잡힌 SLP의 경우, 색인 실패의 작은 확률을 가진 채로 쿼리 시간이 $ \mathcal{O}(m\log m + \mathrm{occ}\log\log n) $ 로 감소한다.
• 색인은 $ \mathcal{O}(\ell + \log n) $ 시간에 빠른 텍스트 추출을 지원하며, 문법 기반 색인에서 알려진 최고의 경계와 일치한다.
• 색인의 구축 과정은 마루야마 등이 제안한 온라인 알고리즘과 같은 실용적인 SLP 구축 알고리즘과 호환되며, 이 알고리즘은 $ \mathcal{O}(z\log^2 n) $개의 규칙을 가진 균형 잡힌 SLP를 생성한다.
• 정확한 매칭 원리를 활용하여 효율적인 근사 패턴 매칭을 가능하게 하며, 거리 보존 Karp-Rabin 해시와의 통합 가능성이 있다.