[논문 리뷰] Linear time construction of compressed text indices in compact space

Djamal Belazzougui|arXiv (Cornell University)|2014. 01. 05.

Algorithms and Data Compression참고 문헌 21인용 수 10

한 줄 요약

이 논문은 O(n log σ) 비트의 공간에서 압축형 접미사 배열(CSA)과 압축형 접미사 트리(CST)를 구성하기 위한 랜덤화된 선형 시간 알고리즘을 제시한다. 이는 원본 텍스트의 공간 복잡도와 일치한다. 접미사 배열 간격에 대한 새로운 스택 기반 순회 기법과 BWT(버로우스-웨일러 변환) 구축 최적화를 통해, O(n) 시간 복잡도를 달성하였으며, 이는 이전의 동일한 공간 제약 조건 하에서 O(n log log σ) 및 O(n log^ε n)의 경계보다 크게 향상된 것이다.

ABSTRACT

We show that the compressed suffix array and the compressed suffix tree for a string of length $n$ over an integer alphabet of size $σ\leq n$ can both be built in $O(n)$ (randomized) time using only $O(n\logσ)$ bits of working space. The previously fastest construction algorithms that used $O(n\logσ)$ bits of space took times $O(n\log\logσ)$ and $O(n\log^εn)$ respectively (where $ε$ is any positive constant smaller than $1$). In the passing, we show that the Burrows-Wheeler transform of a string of length $n$ over an alphabet of size $σ$ can be built in deterministic $O(n)$ time and space $O(n\logσ)$. We also show that within the same time and space, we can carry many sequence analysis tasks and construct some variants of the compressed suffix array and compressed suffix tree.

연구 동기 및 목표

• 압축형 접미사 배열과 트리의 구성에서 발생하는 성능 저하 문제를 해결하기 위해.
• 압축형 접미사 구조의 구성 시간을 O(n log log σ) 및 O(n log^ε n)에서 O(n)으로 줄이되, O(n log σ) 비트의 공간을 유지하기 위해.
• 동일한 시간 및 공간 범위 내에서 효율적인 시퀀스 분석 작업을 가능하게 하기 위해.
• O(n log σ) 비트의 공간을 사용하여 버로우스-웨일러 변환(BWT)을 결정론적으로 O(n) 시간에 구성하기 위해.
• 이 접근 방식을 고도화된 FM-인덱스 및 CST의 변형 버전으로 확장하여 효율적인 구성 가능성을 확보하기 위해.

제안 방법

• 이전의 큐 및 비트벡터 기반 방법을 대체하기 위해 접미사 배열 간격에 대한 스택 기반 순회 기법을 도입하여 공간 사용량을 감소시켰다.
• 이전 연구에서 제안된 이중 방향 BWT 구성 방식을 변형하여 각 병합 단계를 선형 시간에 수행하도록 최적화하였다.
• 접미사 트리의 위상 구조에서 상수 시간 연산을 위해 해싱을 사용하여, 해시 테이블을 사용하더라도 랜덤화된 O(n) 구성이 가능해졌다.
• FM-인덱스와 이중 방향 BWT를 활용하여 효율적인 위너 링크 시뮬레이션과 간격 순회를 지원하였다.
• BWT 구성과 함께 이중 방향 연산을 이용해 퍼머티드 LCP 배열을 새로 구성하는 방법을 결합하였다.
• 자식 노드 및 문자열 수준 조상 쿼리에 O(log^ε n) 시간 내에 응답할 수 있도록 보조 데이터 구조를 CST에 추가하였다.

실험 결과

연구 질문

• RQ1 압축형 접미사 배열과 트리는 O(n log σ) 비트의 공간만을 사용하면서 O(n) 시간에 구성될 수 있는가?
• RQ2 버로우스-웨일러 변환은 결정론적으로 O(n) 시간과 O(n log σ) 비트의 공간에서 계산될 수 있는가?
• RQ3 접미사 배열 간격의 순회가 충분히 효율적으로 수행되어 압축형 색인의 선형 시간 구성이 가능한가?
• RQ4 예를 들어 위너 링크를 상수 시간에 지원하는 등의 고도화된 FM-인덱스 변형은 랜덤화된 선형 시간에 구성될 수 있는가?
• RQ5 접미사 트리 노드 순회에 의존하는 시퀀스 분석 문제들은 압축된 공간 조건 하에서 랜덤화된 O(n) 시간 내에 해결될 수 있는가?

주요 결과

• 압축형 접미사 배열과 압축형 접미사 트리는 O(n log σ) 비트의 작업 공간만을 사용하여 랜덤화된 O(n) 시간에 구성될 수 있다.
• 버로우스-웨일러 변환은 결정론적으로 O(n) 시간과 O(n log σ) 비트의 공간에서 구성될 수 있다.
• 새로운 스택 기반 간격 순회 기법은 공간 사용량을 줄이고 CST 구성 요소의 선형 시간 구성 가능성을 보장한다.
• 퍼머티드 LCP 배열은 이중 방향 BWT 연산을 통해 효율적으로 구성될 수 있다.
• 고도화된 FM-인덱스 변형, 예를 들어 상수 시간 위너 링크를 지원하는 것들 역시 랜덤화된 선형 시간에 구성될 수 있다.
• 최대 반복 부분문자열 찾기 및 정확한 매칭 검색과 같은 많은 시퀀스 분석 문제들이 O(n log σ) 비트의 공간 내에서 랜덤화된 O(n) 시간에 해결 가능해졌다.