[논문 리뷰] Restructuring Compressed Texts without Explicit Decompression

Keisuke Goto, Shirou Maruyama외 4명|arXiv (Cornell University)|2011. 07. 14.

Algorithms and Data Compression참고 문헌 27인용 수 5

한 줄 요약

이 논문은 압축된 텍스트를 명시적 복원 없이 재구성하기 위한 최초의 다항식 시간 알고리즘을 제안하며, 압축 해제 기반 방법에 비해 이론적으로 빠른 성능 향상을 달성한다. 이는 LZ77, LZ78, RLE, SLPs, 그리고 문법 기반 형식과 같은 다양한 압축 표현 간의 효율적 변환을 가능하게 하며, 특히 압축 비율이 지수적으로 높을 경우 최악의 경우에서 극도로 빠른 성능 향상을 제공한다. 주요 기여는 모든 변환 과정이 압축된 입력 및 출력의 크기 다항식 시간 내에 수행되며, 이는 복원 후 처리 방식에 비해 지수적 속도 향상을 이룬다는 것이다.

ABSTRACT

We consider the problem of {\em restructuring} compressed texts without explicit decompression. We present algorithms which allow conversions from compressed representations of a string $T$ produced by any grammar-based compression algorithm, to representations produced by several specific compression algorithms including LZ77, LZ78, run length encoding, and some grammar based compression algorithms. These are the first algorithms that achieve running times polynomial in the size of the compressed input and output representations of $T$. Since most of the representations we consider can achieve exponential compression, our algorithms are theoretically faster in the worst case, than any algorithm which first decompresses the string for the conversion.

연구 동기 및 목표

• 압축된 문자열을 복원하지 않고도 처리하고 변환할 수 있는 프레임워크를 개발하여, 기존의 복원 기반 방법보다 더 빠른 계산을 가능하게 한다.
• 데이터 마이닝, 머신러닝, 압축된 패턴 매칭과 같은 응용 분야에서 동적이고 유연한 압축 텍스트 표현이 요구됨에 따라 이를 해결한다.
• 다양한 압축 표현 간의 효율적 변환을 통해 최적의 압축 포맷을 후행적으로 선택할 수 있도록 한다.
• 편집 연산에 대한 효율적 업데이트와 재구성 기능을 제공함으로써 동적 압축 텍스트 데이터 구조를 지원한다.
• 다양한 압축 포맷을 하나의 효율적인 변환 프레임워크로 통합함으로써 압축 문자열 처리의 범위를 확장한다.

제안 방법

• 범위 검색이 가능한 점 집합과 트라이와 같은 고급 데이터 구조를 활용하여, 압축 표현 내에서 부분 문자열과 임bedding을 효율적으로 탐색한다.
• 재귀적 임bedding 기법을 사용하여 압축된 형태에서 최대 반복 부분문자열을 식별하고, 복원 없이도 분해를 수행한다.
• 각 요소가 압축된 부분문자열 내에서 범위 쿼리와 접미사-접두사 매칭을 통해 증거 기반으로 검증되는 증거 기반 파싱을 적용한다.
• LZ77 및 LZ78 변환의 경우, 이진 탐색을 통해 접미사 탐색과 증거 트리를 활용하여 각 단계에서 로그 시간 내에 다음 요소를 위치한다.
• RLE에서 ESP 및 ESP에서 이분법 SLP로의 변환의 경우, 정수로 인코딩된 런 길이를 사용하여 최대 반복을 반복적으로 교체하고, 로그 시간 내에 임bedding 검사를 수행한다.
• 동적 범위 쿼리와 균형 잡힌 파싱을 통해 편집 민감도 파싱(ESP)과 직선 프로그램(SLPs)을 통합하여 다항식 시간 복잡도를 보장한다.

실험 결과

연구 질문

• RQ1 압축된 문자열 표현 간에 명시적 복원 없이 상호 변환 가능할 수 있으며, 이때 입력 및 출력의 크기 다항식 시간 복잡도를 유지할 수 있는가?
• RQ2 이러한 압축 포맷 변환 기법이 복원 후 처리 방식에 비해 이론적으로 얼마나 높은 성능 향상을 제공하는가?
• RQ3 압축된 문자열에 대한 동적 편집 연산을 재구성 기반으로 효율적으로 지원할 수 있는가?
• RQ4 압축 도메인 내에서 최적의 압축 포맷을 후행적으로 선택하는 것이 효율적으로 가능할 수 있는가?
• RQ5 다양한 압축 포맷 간의 효율적이고 손실 없는 변환을 가능하게 하기 위해 필요한 최소한의 데이터 구조와 알고리즘은 무엇인가?

주요 결과

• 이 논문은 압축된 입력을 복원하지 않고도 LZ77, LZ78, RLE, SLPs, 문법 기반 형식 등 다양한 압축 표현 간의 변환을 수행하는 최초의 알고리즘을 제시하며, 입력 및 출력의 압축 크기 다항식 시간 내에 수행된다.
• 크기 $ n $인 표준 SLP에서 LZ78으로의 변환 시간 복잡도는 $ O(m\log^3 N + n) $ 이며, 여기서 $ m $은 LZ78 요소의 수이고 $ N $은 문자열 길이이다.
• RLE에서 편집 민감도 파싱(ESP)으로의 변환은 $ O(n\log^* N) $ 시간 내에 수행되며, 이는 거의 선형 성능에 가까운 것으로 나타난다.
• ESP에서 이분법 SLP로의 변환은 $ O(m\log^2 N) $ 시간 내에 수행되며, $ m $은 결과 SLP의 크기이다. 이는 균형 잡힌 문법 구조 생성을 효율적으로 처리함을 보여준다.
• SLPs에서 LZ77 요소 분해를 위한 알고리즘은 $ O(m\log^2 n \log^3 N + n\log^2 n) $ 시간 내에 수행되며, 이는 큰 입력에 대해서도 확장 가능함을 보여준다.
• 모든 제안된 알고리즘은 특히 압축 비율이 지수적으로 높은 최악의 경우에서 복원 기반 방법에 비해 이론적 속도 향상을 달성한다.