[논문 리뷰] Self-Index Based on LZ77

Sebastian Kreft, Gonzalo Navarro|arXiv (Cornell University)|2011. 01. 21.

Algorithms and Data Compression참고 문헌 56인용 수 6

한 줄 요약

이 논문은 유전자 데이터베이스, 소프트웨어 저장소, 버전 관리 문서와 같은 매우 반복적인 텍스트 컬렉션을 위해 특별히 설계된, Lempel-Ziv 1977(LZ77) 압축 형식에 기반한 최초의 실용적 세프-인덱스를 제시한다. 이 인덱스는 LZ77로 압축된 텍스트 크기의 2.6~4.0배의 공간을 사용하며, 기존 최고 수준의 세프-인덱스(RLCSA)보다 공간 사용에서 최대 6.6배 우수하고, 100만~200만 문자/초의 속도로 랜덤 액세스와 1회 발생당 10~50 마이크로초의 속도로 패턴 검색을 지원한다.

ABSTRACT

We introduce the first self-index based on the Lempel-Ziv 1977 compression format (LZ77). It is particularly competitive for highly repetitive text collections such as sequence databases of genomes of related species, software repositories, versioned document collections, and temporal text databases. Such collections are extremely compressible but classical self-indexes fail to capture that source of compressibility. Our self-index takes in practice a few times the space of the text compressed with LZ77 (as little as 2.6 times), extracts 1--2 million characters of the text per second, and finds patterns at a rate of 10--50 microseconds per occurrence. It is smaller (up to one half) than the best current self-index for repetitive collections, and faster in many cases.

연구 동기 및 목표

• 유전자 데이터베이스, 소프트웨어 저장소, 버전 관리 문서와 같은 매우 반복적인 텍스트 컬렉션에서 반복성을 효과적으로 포착하지 못하는 기존 세프-인덱스의 한계를 해결하기 위해.
• 현재 세프-인덱스가 충분히 활용하지 못하는, k차 순서 엔트로피와 런레ング스 모델보다도 뛰어난 LZ77의 압축 성능을 활용할 수 있는 세프-인덱스를 설계하기 위해.
• 기존의 LZ77 기반 색인화 접근법에서 주요 장애물이었던, 원본 텍스트를 그대로 유지하지 않고도 功能성 있는 세프-인덱스를 구축하는 데 도전하기 위해.
• 실제 응용 분야에 적합한 실용적인 성능을 확보하기 위해 공간, 구축 시간, 쿼리 속도 면에서 균형 잡힌 성능을 달성하기 위해.

제안 방법

• 랜덤 액세스를 효율적으로 지원하고 공간 오버헤드를 줄이며 압축 효율성을 유지하면서도, LZ77 파싱의 변형인 LZ-End를 사용한다.
• 후행어 배열과 역후행어 배열 데이터 구조를 사용하며, 압축된 표현 방식을 보완하여 패턴 위치 탐색과 텍스트 추출을 빠르게 지원한다.
• 암시적 또는 명시적 ID 배열과 역ID 배열에 이진 탐색을 적용하여 공간 사용을 줄이면서도 텍스트 내 위치에 로그 시간 복잡도로 액세스할 수 있도록 한다.
• 시퀀스에서 이전에 더 작은 원소를 찾는 데에 효율적인 'prevLess' 연산을 위한 새로운 압축된 데이터 구조를 도입하여 공간과 시간 효율성을 향상시킨다.
• LZ77 및 LZ-End 파싱을 모두 지원하며, 공간 소비가 가장 높은 것에서 가장 낮은 것으로 5가지 공간-시간 트레이드오프 버전을 제공한다.
• 압축된 후행어 배열과 FM-인덱스에서 유래한 압축된 데이터 구조 및 기법을 활용하며, 이를 LZ77 파싱 모델에 맞게 적응시킨다.

실험 결과

연구 질문

• RQ1 원본 텍스트를 그대로 유지하지 않고도, LZ77로 압축된 텍스트 위에 세프-인덱스를 직접 구축할 수 있을까? 이 경우, 빠른 랜덤 액세스와 패턴 매칭이 가능할까?
• RQ2 매우 반복적인 컬렉션에서, LZ77 기반 세프-인덱스의 공간 사용은 최신 기술인 RLCSA 인덱스와 비교해 어떻게 되는가?
• RQ3 실제 반복적인 데이터에서 추출 및 검색 속도 면에서 높은 압축률과 높은 성능을 동시에 달성할 수 있는가?
• RQ4 가장 공간 효율적인 인덱스 설정은 무엇이며, 이는 구축 시간과 쿼리 시간과의 상호 교환 관계에서 어떻게 작용하는가?

주요 결과

• 제안된 LZ77 세프-인덱스는 |LZ|가 LZ77로 압축된 텍스트 크기일 때, 최대 2|LZ| + o(|LZ|) 비트의 공간을 사용하며, 매우 공간 효율적이다.
• 가장 공간 효율적인 버전은 p7zip로 압축된 LZ77 출력 크기의 2.5~4.0배만 사용하며, 512-샘플링을 사용한 RLCSA에 비해 공간 사용에서 최대 6.6배 우수하다.
• Einstein 컬렉션에서 인덱스는 원본 텍스트 크기의 0.18%를 차지한다(LZ-End 5), 반면 RLCSA 512는 1.20%를 차지하여, 매우 반복적인 데이터에서 뛰어난 압축 성능을 입증한다.
• 추출 성능은 100만~200만 문자/초에 이를 수 있으며, 대부분의 경우 RLCSA를 초월한다. 패턴 위치 탐색은 1회 발생당 10~50 마이크로초가 소요된다.
• 특히 인덱스가 작을 경우, 패턴 위치 탐색에서 RLCSA보다 빠르며, 최소 샘플링 조건에서도 높은 성능을 유지한다.
• 'prevLess' 데이터 구조의 설계와 암시적 ID 배열의 사용은 공간 효율성에 기여하며, 다른 압축된 데이터 구조에 재사용 가능한 잠재력을 지닌다.