[논문 리뷰] Dynamic index, LZ factorization, and LCE queries in compressed space

Takaaki Nishimoto, I Tomohiro외 3명|arXiv (Cornell University)|2015. 04. 27.

Algorithms and Data Compression참고 문헌 27인용 수 16

한 줄 요약

이 논문은 LZ77 분해와 서명 인코딩을 사용한 동적 압축 인덱스를 제안하며, 압축된 공간에서 효율적인 패턴 검색, 부분문자열 업데이트 및 LCE 쿼리를 가능하게 한다. 국소적으로 일致하는 파싱의 성질을 활용하여 이전 작업보다 빠른 검색 및 업데이트 시간을 달성하며, $w = O(z\log N\log^* M)$ 일 때 $O(w)$ 공간을 확보한다. 여기서 $z$는 LZ77 분해 크기이다.

ABSTRACT

In this paper, we present the following results: (1) We propose a new \emph{dynamic compressed index} of $O(w)$ space, that supports searching for a pattern $P$ in the current text in $O(|P| f(M,w) + \log w \log |P| \log^* M (\log N + \log |P| \log^* M) + \mathit{occ} \log N)$ time and insertion/deletion of a substring of length $y$ in $O((y+ \log N\log^* M)\log w \log N \log^* M)$ time, where $N$ is the length of the current text, $M$ is the maximum length of the dynamic text, $z$ is the size of the Lempel-Ziv77 (LZ77) factorization of the current text, $f(a,b) = O(\min \{ \frac{\log\log a \log\log b}{\log\log\log a}, \sqrt{\frac{\log b}{\log\log b}} \})$ and $w = O(z \log N \log^*M)$. (2) We propose a new space-efficient LZ77 factorization algorithm for a given text of length $N$, which runs in $O(N f(N,w') + z \log w' \log^3 N (\log^* N)^2)$ time with $O(w')$ working space, where $w' =O(z \log N \log^* N)$. (3) We propose a data structure of $O(w)$ space which supports longest common extension (LCE) queries on the text in $O(\log N + \log \ell \log^* N)$ time, where $\ell$ is the output LCE length. On top of the above contributions, we show several applications of our data structures which improve previous best known results on grammar-compressed string processing.

연구 동기 및 목표

• 압축된 공간에서 효율적인 패턴 검색과 부분문자열 업데이트를 지원하는 동적 압축 텍스트 인덱스를 설계하는 것.
• 오직 $O(w')$ 작업 공간만을 사용하여 LZ77 분해를 계산하는 공간 효율적인 알고리즘을 개발하는 것.
• 빠른 쿼리 시간을 확보하면서도 압축된 공간에서 LCE 쿼리를 지원하는 데이터 구조를 구축하는 것.
• 제안된 데이터 구조를 적용하여 기존의 문법 기반 압축 문자열 처리 결과를 향상시키는 것.
• 제안된 인덱스가 이전의 동적 압축 인덱스보다 검색 및 업데이트 효율성 측면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 동적 문자열 관리를 위해 Mehlhorn 등이 제안한 국소적으로 일致하는 파싱과 Alstrup 등이 제안한 빠른 문자열 연결/분할 알고리즘을 활용한다.
• 앵커 없이도 효율적인 등가성 테스트와 동적 업데이트를 지원하기 위해 문자열의 서명 인코딩을 사용한다.
• 서명 인코딩의 새로운 성질(보조정리 12)을 도입하여, 실제 발생 수 $\mathit{occ}$ 비례하는 패턴 검색 시간을 확보한다. 이는 초과 집합이 아닌 실제 발생 수에 비례함.
• LZ77 분해 기반의 압축된 데이터 구조를 활용하여 $O(\log N + \log\ell\log^* N)$ 시간 내에 LCE 쿼리를 지원한다.
• 모든 $w = O(z\log N\log^* M)$ 일 때 $O(w)$ 공간을 사용하는 동적 인덱스를 구성하여 효율적인 업데이트와 검색을 가능하게 한다.
• LCE 및 LCP 쿼리를 효율적으로 활용하여, 팰린드롬 탐지 및 릴론 분해와 같은 문법 기반 압축 문자열 처리 작업에 인덱스를 적용한다.

실험 결과

연구 질문

• RQ1 압축된 공간에서 효율적인 패턴 검색과 부분문자열 업데이트를 지원하는 동적 압축 인덱스를 구성할 수 있는가?
• RQ2 이전 방법보다 향상된 시간 복잡도를 확보하면서도 $O(w')$ 작업 공간에서 LZ77 분해를 계산할 수 있는가?
• RQ3 $O(w)$ 공간에서 $O(\log N + \log\ell\log^* N)$ 시간 내에 LCE 쿼리를 지원하는 압축된 데이터 구조를 설계할 수 있는가?
• RQ4 제안된 인덱스와 데이터 구조를 활용하여 기존의 문법 기반 압축 문자열 처리 작업 알고리즘을 향상시킬 수 있는가?
• RQ5 제안된 인덱스의 성능은 기존의 동적 압축 인덱스와 비교해 검색 및 업데이트 시간 측면에서 어떻게 다른가?

주요 결과

• 동적 압축 인덱스는 $O(|P|f(M,w) + \log w\log|P|\log^* M(\log N + \log|P|\log^* M) + \mathit{occ}\log N)$ 시간 내에 패턴 검색을 지원하며, $O(w)$ 공간을 사용한다. 여기서 $f(M,w) = O(\min\{\frac{\log\log M\log\log w}{\log\log\log M}, \sqrt{\frac{\log w}{\log\log w}}\})$이다.
• 부분문자열 삽입/삭제는 평균적으로 $O((y + \log N\log^* M)\log w\log N\log^* M)$ 시간 내에 수행되며, 이는 $\sqrt{N}$ 이 주요 기여 요소일 경우 이전의 $O((y + \sqrt{N})\log^{2+\epsilon}N)$ 보다 향상된 성능이다.
• LZ77 분해 알고리즘은 $O(Nf(N,w') + z\log w'\log^3 N(\log^* N)^2)$ 시간 내에 $O(w')$ 작업 공간에서 실행되며, $w' = O(z\log N\log^* N)$이다.
• $O(w)$ 크기의 LCE 데이터 구조는 $O(\log N + \log\ell\log^* N)$ 시간 내에 쿼리를 지원하며, 이는 이전의 $O(h\log N)$ 시간 구조보다 향상된 성능이다.
• SLP 압축 문자열 내 모든 팰린드롬을 탐지하는 알고리즘은 $O(n\log^2 N\log^* N)$ 시간과 $O(n\log^* N + w)$ 공간에서 실행되며, 이는 이전의 $O(n^2 h)$ 시간보다 향상된 성능이다.
• 릴론 분해 알고리즘은 $O(n(n + \log n\log N\log^* N))$ 시간과 $O(n^2 + z\log N\log^* N)$ 공간에서 실행되며, $h$가 클 경우 이전의 $O(nh(n + \log n\log N))$ 시간 방법보다 뛰어난 성능을 보인다.