[논문 리뷰] From LZ77 to the Run-Length Encoded Burrows-Wheeler Transform, and Back

Alberto Policriti, Nicola Prezza|arXiv (Cornell University)|2017. 02. 04.

Algorithms and Data Compression참고 문헌 15인용 수 6

한 줄 요약

이 논문은 압축된 텍스트 표현 방식인 LZ77과 러닝라인 압축된 버러스-웨일러 변환(RLBWT) 간의 공간 효율적인 알고리즘을 제시한다. 이는 압축 크기 $ r $ 및 $ z $ 비례하는 시간과 공간에서 변환을 수행함으로써, 전체 복원 없이도 매우 반복적인 데이터를 효율적으로 다룰 수 있도록 한다.

ABSTRACT

The Lempel-Ziv factorization (LZ77) and the Run-Length encoded Burrows-Wheeler Transform (RLBWT) are two important tools in text compression and indexing, being their sizes $z$ and $r$ closely related to the amount of text self-repetitiveness. In this paper we consider the problem of converting the two representations into each other within a working space proportional to the input and the output. Let $n$ be the text length. We show that $RLBWT$ can be converted to $LZ77$ in $\mathcal{O}(n\log r)$ time and $\mathcal{O}(r)$ words of working space. Conversely, we provide an algorithm to convert $LZ77$ to $RLBWT$ in $\mathcal{O}\big(n(\log r + \log z)\big)$ time and $\mathcal{O}(r+z)$ words of working space. Note that $r$ and $z$ can be \emph{constant} if the text is highly repetitive, and our algorithms can operate with (up to) \emph{exponentially} less space than naive solutions based on full decompression.

연구 동기 및 목표

• LZ77과 RLBWT라는 두 주요 압축된 텍스트 표현 방식 간의 효율적이고 공간 제약이 있는 변환을 해결한다.
• 거대하고 반복적인 데이터 세트(예: 게놈 아카이브)를 처리하는 데 핵심적인 전제인 전체 복원 없이도 압축된 데이터 구조에서 계산을 가능하게 한다.
• 비압축 텍스트 크기 비례하는 공간을 요구하는 난이도 높은 복원 기반 방법의 한계를 극복한다.
• 최적의 공간 사용량으로 LZ77 또는 RLBWT 입력에서 직접 압축된 자체색인을 구축하는 데 기초를 마련한다.
• 전체 텍스트 길이 $ n $ 가 아니라 압축 크기 $ r $ (RLBWT 런) 및 $ z $ (LZ77 요소) 비례하는 작업 공간을 사용하여 변환을 수행한다.

제안 방법

• 증분적 구축 중에 텍스트 위치와 RLBWT 위치 간의 매핑을 유지하기 위해 동적 데이터 구조 $ \mathcal{Z} $ 를 사용한다.
• RLBWT 데이터 구조 자체를 활용하여 러닝라인 압축을 적용한 역 BWT 과정을 시뮬레이션함으로써 LZ77에서 문자를 효율적으로 추출한다.
• RLBWT 구조에 대해 LF(마지막에서 첫 번째로의 매핑) 및 확장 연산을 적용하여 역 텍스트의 RLBWT를 점진적으로 구축한다.
• LZ77 프레이즈의 정렬된 목록 $ \mathcal{D} $ 를 사용하여 순서대로 처리함으로써 문자 추출 및 삽입 중 위치 추적의 정확성을 확보한다.
• 텍스트와 RLBWT 위치 간의 일관성을 유지하기 위해 매핑, 할당, 확장 쿼리를 지원하는 동적 구조 $ \mathcal{Z} $ 를 활용한다.
• 최종적으로 역 텍스트의 RLBWT를 역 러닝라인 BWT 구축을 통해 표준 RLBWT 표현인 $ RLBWT^+(T) $ 로 변환한다.

실험 결과

연구 질문

• RQ1 압축 표현 크기 $ r $ 과 $ n $ 비례하는 시간과 공간에서 RLBWT에서 LZ77으로의 변환은 가능한가?
• RQ2 전체 복원을 피하기 위해 $ \mathcal{O}(r + z) $ 작업 공간만을 사용하여 LZ77에서 RLBWT로의 변환은 가능한가?
• RQ3 RLBWT 구조를 동적 텍스트 추출기로 사용하여 LZ77에서 문자를 효율적으로 추출하는 것은 가능한가?
• RQ4 변환 알고리즘은 $ n $ 에 대해 선형 이하의 시간 내에 작동하도록 설계될 수 있는가, 즉 $ r + z $ 비례하는가?
• RQ5 압축 계산 파이프라인에서 동적 데이터 구조를 사용할 때의 이론적 및 실용적 트레이드오프는 무엇인가?

주요 결과

• 알고리즘은 $ \mathcal{O}(n\log r) $ 시간과 $ \mathcal{O}(r) $ 단위의 작업 공간에서 RLBWT에서 LZ77으로의 변환을 수행하며, 출력은 디스크에 스트리밍된다.
• 알고리즘은 $ \mathcal{O}(n(\log r + \log z)) $ 시간과 $ \mathcal{O}(r + z) $ 단위의 작업 공간에서 LZ77에서 RLBWT로의 변환을 수행한다.
• RLBWT와 LZ77의 런 수 $ r $ 과 요소 수 $ z $ 가 작을 경우(예: 매우 반복적인 텍스트에서), 이 방법은 난이도 높은 복원 기반 접근보다 공간이 지수적으로 작다.
• 텍스트와 RLBWT 간의 위치 매핑을 유지하기 위해 동적 데이터 구조를 사용함으로써, 구축 중에 효율적인 문자 추출이 가능하다.
• LZ77에서 RLBWT로의 변환은 RLBWT 구조를 동적 텍스트 추출기로 사용하여 역 BWT 과정을 시뮬레이션하는 데 기반한다.
• 최종 RLBWT는 역 텍스트의 RLBWT를 역으로 변환함으로써 생성되며, 이는 동일한 동적 구조를 사용하여 효율적으로 계산된다.