[논문 리뷰] O(n log n)-time text compression by LZ-style longest first substitution

Akihiro Nishi, Yuto Nakashima외 3명|arXiv (Cornell University)|2018. 06. 13.

Algorithms and Data Compression인용 수 1

한 줄 요약

이 논문은 반복적인 텍스트를 효율적으로 압축할 수 있도록 최적화된 LZ-LFS 압축 알고리즘을 제시하며, 기존 Mauer 등이 제안한 방법의 O(n²) 런타임에 비해 O(n log n) 시간 복잡도를 달성한다. Lempel-Ziv 스타일 압축에서 가장 긴 부분문자열 치환을 더 빠르게 계산하는 방법을 도입함으로써 반복적인 텍스트의 압축 성능을 향상시키며, 더 단순한 O(n) 시간 복잡도를 가지는 변종도 제안한다.

ABSTRACT

Mauer et al. [A Lempel-Ziv-style Compression Method for Repetitive Texts, PSC 2017] proposed a hybrid text compression method called LZ-LFS which has both features of Lempel-Ziv 77 factorization and longest first substitution. They showed that LZ-LFS can achieve better compression ratio for repetitive texts, compared to some state-of-the-art compression algorithms. The drawback of Mauer et al.'s method is that their LZ-LFS compression algorithm takes $O(n^2)$ time on an input string of length $n$. In this paper, we show a faster LZ-LFS compression algorithm that works in $O(n \log n)$ time. We also propose a simpler version of LZ-LFS that can be computed in $O(n)$ time.

연구 동기 및 목표

• Mauer 등이 제안한 LZ-LFS 알고리즘의 높은 시간 복잡도 문제를 해결하기 위해, 길이 n인 입력 문자열에 대해 O(n²) 시간 복잡도로 실행되는 기존 방법의 성능을 향상시키는 것.
• 반복적인 텍스트에 대해 높은 압축 비율을 유지하면서도 더 빠른 압축 알고리즘을 설계하는 것.
• LZ-LFS의 단순화된 변종을 개발하여 선형 O(n) 시간 복잡도를 달성하는 것.
• 계산 오버헤드를 줄여 대규모 반복 텍스트 데이터에서 LZ-LFS의 실용적 구현을 가능하게 하는 것.

제안 방법

• 논문은 압축 과정 중 가장 긴 매칭 부분문자열을 효율적으로 탐색하고 관리하기 위해 접미사 배열과 개선된 접미사 배열 기반의 데이터 구조를 도입한다.
• 가장 긴 반복 부분문자열을 우선순위로 치환하는 그레디프 압축 전략을 적용하여, 가장 긴 부분문자열을 코드워드로 대체한다.
• 입력 문자열을 사전 처리하기 위해 선형 시간 접미사 배열 구축 기법을 사용하여, 효율적인 접미사 정렬과 LCP(가장 큰 공통 접두사) 배열 계산을 가능하게 한다.
• 후보 부분문자열을 관리하기 위해 우선순위 큐를 활용하여, 치환 단계에서 가장 긴 매칭을 먼저 처리하도록 보장한다.
• O(n) 변종은 검색 공간을 가장 유망한 매칭으로 제한함으로써 치환 과정을 단순화하여 오버헤드를 줄이고 압축 품질을 유지한다.

실험 결과

연구 질문

• RQ1 기존 LZ-LFS 알고리즘의 O(n²) 시간 복잡도를 압축 효율성을 희생시키지 않고 낮출 수 있는가?
• RQ2 어떤 데이터 구조와 알고리즘 최적화 기법이 LZ-LFS에 대해 O(n log n) 시간 복잡도의 압축을 가능하게 하는가?
• RQ3 압축 비율 경쟁력이 유지되는 조건에서 O(n) 시간 복잡도를 달성하는 단순화된 LZ-LFS 변종을 설계할 수 있는가?
• RQ4 새로운 알고리즘의 성능과 압축 비율은 반복 텍스트 워크로드에서 기존 최첨단 방법들과 비교해 어떻게 나타나는가?

주요 결과

• 제안된 알고리즘은 O(n log n) 시간 복잡도를 달성하여, Mauer 등이 제안한 원본 방법의 O(n²) 시간 복잡도에 비해 상당한 향상이 이루어졌다.
• 알고리즘은 반복적인 텍스트에서 높은 압축 비율을 유지하며, 몇몇 최첨단 압축 알고리즘보다 비율 효율성 측면에서 뛰어난 성능을 보였다.
• 단순화된 변종 알고리즘은 O(n) 시간 복잡도로 실행되어 대규모 텍스트 압축 작업에 적합하다.
• 접미사 배열과 우선순위 큐의 사용은 가장 긴 매칭을 효율적으로 식별하고 처리할 수 있게 하여 성능 향상의 핵심 요소가 되었다.