[논문 리뷰] Computing Lempel-Ziv Factorization Online

Tatiana Starikovskaya|arXiv (Cornell University)|2012. 02. 23.

Algorithms and Data Compression참고 문헌 14인용 수 4

한 줄 요약

이 논문은 O(n log²n) 시간과 O(n log σ) 비트의 공간을 사용하여 문자열의 Lempel-Ziv 분해를 온라인으로 계산하는 알고리즘을 제시한다. 이는 희소 접미사 트리와 웨이블릿 트리를 활용하여 매 r = O(logσ n) 문자마다 요약적으로 업데이트함으로써 효율적으로 분해를 갱신한다. 이 방법은 업데이트 빈도를 줄여 시간-공간의 유리한 트레이드오프를 제공하며, 대규모 데이터 처리에서 실용적인 응용이 가능하다.

ABSTRACT

We present an algorithm which computes the Lempel-Ziv factorization of a word $W$ of length $n$ on an alphabet $Σ$ of size $σ$ online in the following sense: it reads $W$ starting from the left, and, after reading each $r = O(\log_σ n)$ characters of $W$, updates the Lempel-Ziv factorization. The algorithm requires $O(n \log σ)$ bits of space and O(n \log^2 n) time. The basis of the algorithm is a sparse suffix tree combined with wavelet trees.

연구 동기 및 목표

• 입력 문자열에 대해 업데이트 빈도를 줄여가며 점진적으로 Lempel-Ziv 분해를 계산할 수 있는 온라인 알고리즘을 설계한다.
• 각 문자가 아닌 매 r = O(logσ n) 문자마다 분해를 업데이트하여 실용적인 시간-공간 트레이드오프를 달성한다.
• 총 실행 시간이 O(n log²n) 이내를 유지하면서도 O(n log σ) 비트의 공간을 유지한다.
• 웨이블릿 트리와 희소 접미사 트리와 같은 압축된 데이터 구조를 사용하여 효율적인 동적 업데이트를 지원한다.
• 전체 오프라인 계산이 불가능한 대규모 데이터 처리에 적합한 확장 가능한 솔루션을 제공한다.

제안 방법

• 알고리즘은 입력 문자열을 r = O(logσ n) 크기의 블록으로 나누어, 매 블록 이후에만 분해를 업데이트한다.
• r개의 문자로 구성된 블록에서 생성된 메타 문자를 기반으로 한 희소 접미사 트리를 사용하여 부분문자열을 효율적으로 표현한다.
• 웨이블릿 트리는 Burrows-Wheeler 변환(BWT)을 유지하고, 각 업데이트에 대해 O(log²n) 시간 내에 순서/선택 연산을 지원한다.
• 동적 데이터 구조는 접미사 트리와 각 내부 노드에 연결된 트라이를 유지하여 부분문자열 검색을 효율적으로 수행한다.
• Ukkonen의 온라인 접미사 트리 구축 기법과 웨이블릿 트리 업데이트를 결합하여 점진적인 분해를 지원한다.
• 두 가지 절차를 사용한다: 짧은 요소( |fi| < r )에 대한 P_<r 과 긴 요소에 대한 P_≥r이며, 후자는 부분문자열 매칭을 위해 희소 접미사 트리를 기반으로 한다.

실험 결과

연구 질문

• RQ1 업데이트 빈도를 줄여도 부이차 시간 복잡도를 유지하면서 Lempel-Ziv 분해를 온라인으로 계산할 수 있는가?
• RQ2 점진적 업데이트를 지원하면서도 O(n log σ) 비트의 공간을 유지할 수 있는가?
• RQ3 웨이블릿 트리와 희소 접미사 트리를 어떻게 조합하여 각 업데이트에 대해 O(log²n) 시간 내에 효율적인 동적 분해를 지원할 수 있는가?
• RQ4 온라인 LZ 분해에서 업데이트 빈도와 총 실행 시간을 균형 잡는 데 최적의 블록 크기 r은 무엇인가?
• RQ5 대규모 문자열에서 공간 효율성과 실용적 성능를 동시에 확보할 수 있도록 분해를 유지할 수 있는가?

주요 결과

• 알고리즘은 O(n log²n) 시간과 O(n log σ) 비트의 공간을 사용하여 Lempel-Ziv 분해를 계산하며, 유리한 시간-공간 트레이드오프를 달성한다.
• r = O(logσ n) 문자 블록에서 생성된 메타 문자의 사용은 부분문자열에 대한 효율적인 색인과 매칭을 가능하게 한다.
• 메타 문자 기반의 희소 접미사 트리는 반복되는 부분문자열을 효율적으로 탐지할 수 있게 하여 LZ 분해에 필수적이다.
• 웨이블릿 트리는 O(log²n) 시간 내에 순서 및 선택 연산을 지원하여 동적 데이터 구조 내에서 효율적인 탐색과 업데이트를 가능하게 한다.
• 총 시간 복잡도는 웨이블릿 트리 업데이트에 의해 지배되며, 총 O(n/r)회의 업데이트가 각각 O(log²n) 시간을 소요하므로 총 시간 복잡도는 O(n log²n)이다.
• 알고리즘은 매 r개 문자마다 분해를 업데이트하는 온라인 환경에 적응 가능하며, 동일한 점근적 복잡도를 유지한다.