[논문 리뷰] Longest Common Extensions with Recompression

I Tomohiro|arXiv (Cornell University)|2016. 11. 16.

Algorithms and Data Compression참고 문헌 12인용 수 5

한 줄 요약

이 논문은 재압축 기법을 사용하여 Lempel-Ziv 77 분해의 자가참조가 없는 크기 z를 기준으로 O(lg N) 쿼리 시간과 O(z lg(N/z)) 공간을 달성하는 새로운 압축된 최장 공통 접두사(LCE) 데이터 구조를 제안한다. 이 방법은 동일한 부분문자열에 대해 일관된 압축 패턴을 유지함으로써 문법 압축된 문자열에서 효율적인 LCE 쿼리를 지원하며, 이전의 방법보다 시간 및 공간 복잡도 면에서 뛰어나다.

ABSTRACT

Given two positions $i$ and $j$ in a string $T$ of length $N$, a longest common extension (LCE) query asks for the length of the longest common prefix between suffixes beginning at $i$ and $j$. A compressed LCE data structure is a data structure that stores $T$ in a compressed form while supporting fast LCE queries. In this article we show that the recompression technique is a powerful tool for compressed LCE data structures. We present a new compressed LCE data structure of size $O(z \lg (N/z))$ that supports LCE queries in $O(\lg N)$ time, where $z$ is the size of Lempel-Ziv 77 factorization without self-reference of $T$. Given $T$ as an uncompressed form, we show how to build our data structure in $O(N)$ time and space. Given $T$ as a grammar compressed form, i.e., an straight-line program of size n generating $T$, we show how to build our data structure in $O(n \lg (N/n))$ time and $O(n + z \lg (N/z))$ space. Our algorithms are deterministic and always return correct answers.

연구 동기 및 목표

• 매우 압축 가능한 문자열에서 공간 사용을 최소화하면서도 빠른 쿼리를 지원하는 압축된 LCE 데이터 구조를 설계하는 것.
• 재압축 기법을 활용하여 동일한 부분문자열에 대해 일관된 압축 패턴을 보장함으로써, 효율적인 LCE 계산을 가능하게 하는 것.
• 기존의 랜덤화되거나 더 높은 공간 복잡도를 가지는 방법들보다 더 나은 시간 및 공간 복잡도를 확보하면서도 결정론적이고 정확한 결과를 도출하는 것.
• 압축되지 않은 문자열과 문법 압축된(SLP) 문자열 표현 모두에서 효율적인 구축을 지원하는 것.

제안 방법

• 이 방법은 문자열에서 자주 나타나는 쌍을 새로운 변수로 대체함으로써 재압축 기법을 사용하여 압축된 문법 표현을 생성한다.
• O(lg N) 높이를 가지는 균형 잡힌 파생 트리 구조를 유지함으로써, LCE 쿼리에 대해 O(lg N) 시간 내에 탐색이 가능하다.
• 동일한 부분문자열은 거의 동일한 방식으로 압축되며, 그 주변 맥락에서 최대 O(lg N)의 차이만 존재한다.
• 재압축 과정에서 두 가지 유형의 분할을 사용한다: 하나는 문자열을 일정 요인만큼 압축하기 위한 것이고, 다른 하나는 문법 크기를 압축하기 위한 것이다. 이를 통해 중간 단계의 CFG 크기가 O(n) 이내로 제한된다.
• 문자열의 크기가 충분히 작아지면, 수정된 SimTtoG 알고리즘을 사용해 단계별로 구축하며, 이후 직접 TtoG로 전환한다.
• 최종적으로 생성된 문법, 즉 RLSLP는 파생 트리 탐색을 시뮬레이션하고 O(lg N) 시간 내에 공통 변수 시퀀스를 매칭함으로써 LCE 쿼리를 지원한다.

실험 결과

연구 질문

• RQ1 기존 방법보다 더 나은 시간 및 공간 복잡도를 달성하기 위해 재압축 기법을 사용하여 압축된 LCE 데이터 구조를 구축할 수 있는가?
• RQ2 동일한 부분문자열에 대해 일관된 압축 패턴을 어떻게 활용하여 문법 압축된 문자열에서 빠른 LCE 쿼리를 지원할 수 있는가?
• RQ3 SLP 압축된 문자열에서 LCE 쿼리의 구축 시간, 공간 사용량, 쿼리 시간 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 SLP 입력으로부터 O(n lg(N/n)) 시간과 O(n + z lg(N/z)) 공간 내에서 결정론적으로 이 데이터 구조를 구축할 수 있는가?

주요 결과

• 제안된 데이터 구조는 기존의 O(lg N + lg ℓ lg* N) 시간보다 향상된 O(lg N) 쿼리 시간을 달성한다.
• 공간 복잡도는 이전의 서명 인코딩 기반 방법의 O(z lg N lg* N)에 비해 상당히 향상된 O(z lg(N/z))이다.
• 압축되지 않은 문자열에서 O(N) 시간과 공간으로, SLP 크기가 n인 입력에서 O(n lg(N/n)) 시간과 O(n + z lg(N/z)) 공간으로 구축할 수 있다.
• 구축 과정은 결정론적이며 항상 정확한 결과를 반환하므로, 기존의 랜덤화된 방법에서 요구하는 확률적 검증 단계가 필요 없다.
• 명시적 복원 없이도 문법 압축된 문자열에서 효율적인 LCE 쿼리를 지원하여, 압축된 문자열 알고리즘에서 더 빠른 처리를 가능하게 한다.
• 이중 분할 전략을 사용함으로써, 중간 단계의 CFG 크기가 항상 O(n) 이내로 유지되어 문법 크기의 선형 증가를 보장한다.