[논문 리뷰] Self-Index based on LZ77 (thesis)

Sebastian Kreft, Gonzalo Navarro|arXiv (Cornell University)|2011. 12. 20.

Algorithms and Data Compression참고 문헌 4인용 수 4

한 줄 요약

이 학위논문은 고도로 반복적인 텍스트를 위한 첫 번째 LZ77 기반 자가색인을 제안하며, 랜덤 서브스트링 추출을 효율적으로 가능하게 하는 새로운 LZ-End 파싱 변형을 사용한다. 이는 압축 성능이 뛰어나 (RLCSA 대비 최대 2배 우수), 구축 속도가 더 빠르고 (RLCSA의 35% 수준), 공간 사용량도 적다 (60% 수준), 짧은 패턴 검색에서도 최신 기술을 능가하여 반복적 데이터 처리 분야의 핵심 지표에서 뛰어난 성능을 발휘한다.

ABSTRACT

Domains like bioinformatics, version control systems, collaborative editing systems (wiki), and others, are producing huge data collections that are very repetitive. That is, there are few differences between the elements of the collection. This fact makes the compressibility of the collection extremely high. For example, a collection with all different versions of a Wikipedia article can be compressed up to the 0.1% of its original space, using the Lempel-Ziv 1977 (LZ77) compression scheme. Many of these repetitive collections handle huge amounts of text data. For that reason, we require a method to store them efficiently, while providing the ability to operate on them. The most common operations are the extraction of random portions of the collection and the search for all the occurrences of a given pattern inside the whole collection. A self-index is a data structure that stores a text in compressed form and allows to find the occurrences of a pattern efficiently. On the other hand, self-indexes can extract any substring of the collection, hence they are able to replace the original text. One of the main goals when using these indexes is to store them within main memory. In this thesis we present a scheme for random text extraction from text compressed with a Lempel-Ziv parsing. Additionally, we present a variant of LZ77, called LZ-End, that efficiently extracts text using space close to that of LZ77. The main contribution of this thesis is the first self-index based on LZ77/LZ-End and oriented to repetitive texts, which outperforms the state of the art (the RLCSA self-index) in many aspects. Finally, we present a corpus of repetitive texts, coming from several application domains. We aim at providing a standard set of texts for research and experimentation, hence this corpus is publicly available.

연구 동기 및 목표

• 버전 관리 문서, DNA 서열, 위키와 같은 고도로 반복적인 텍스트 컬렉션에서 효율적인 저장 및 랜덤 액세스가 필요한 문제를 해결한다.
• 기존 자가색인의 한계를 극복한다. 기존 자가색인은 고정된 맥락 예측에 의존하여 반복적 데이터의 장거리 반복을 포착하지 못한다.
• 랜덤 서브스트링 추출과 패턴 검색을 모두 지원하면서도 압축된 텍스트 크기 근처의 공간을 사용하는 LZ77 기반 자가색인을 설계한다.
• 빠르고 공간 효율적인 LZ77 압축 텍스트에 대한 랜덤 액세스를 가능하게 하는 새로운 파싱 기법인 LZ-End를 개발한다.
• 향후 연구를 위한 표준화된 실험 기반을 제공하기 위해 반복적 텍스트의 공개 코퍼스를 구축한다.

제안 방법

• LZ-End를 도입한다. 이는 구문의 끝 위치만 저장함으로써 랜덤 서브스트링 추출을 위한 역방향 탐색을 효율적으로 가능하게 한다.
• LZ-End 파싱 기반의 자가색인 구조를 설계하며, 웨이블릿 트리와 압축된 비트맵을 사용해 역방향 검색 및 랭크/선택 연산을 지원한다.
• 반복적 데이터의 압축 가능성에 기반해, RLCSA가 요구하는 공간의 60% 이하, 시간의 35% 이하로 색인 구축 과정을 최적화한다.
• LCP 배열의 깊이에 대한 웨이블릿 트리를 구현하여 효율적인 범위 쿼리 및 위치 검색 연산을 지원한다.
• 공간 오버헤드를 줄이기 위해 웨이블릿 트리 구성 요소에 압축 비트맵(예: RRR 압축)을 사용하여 성능을 저하시키지 않으면서도 공간 효율성을 확보한다.
• 인덱스를 새로운 파싱 알고리즘과 통합하여, 이론적으로 증분적 구축과 동적 업데이트를 지원한다.

실험 결과

연구 질문

• RQ1 LZ77는 본질적으로 랜덤 액세스가 불가능한데도 불구하고, LZ77 기반 자가색인이 랜덤 액세스와 패턴 검색에 실용적으로 적용될 수 있는가?
• RQ2 LZ-End라는 새로운 LZ77 변형을 설계하여, 공간 효율성을 유지하면서도 상수 시간에 근접한 심볼 추출을 가능하게 할 수 있는가?
• RQ3 반복적 텍스트에서 압축률, 구축 시간, 쿼리 성능 측면에서 LZ77 기반 자가색인은 최신 기술인 RLCSA와 비교해 어떻게 성능을 냈는가?
• RQ4 특히 고도로 반복적인 데이터에 대해, 기존 LZ 기반 색인보다 자가색인의 공간 오버헤드를 더 낮출 수 있는가?
• RQ5 반복적 텍스트의 표준화된 공개 코퍼스를 구축하여 향후 이 분야의 연구를 위한 벤치마크로 활용할 수 있는가?

주요 결과

• 제안된 LZ-End 파싱은 1초당 200만 자 이상의 서브스트링 추출 속도를 달성하여, 표준 LZ77의 속도를 두 배 이상 뛰어넘는다.
• LZ-End 기반 자가색인은 DNA 및 위키 컬렉션에서 RLCSA 대비 최대 2배 우수한 압축률을 달성하며, 공간 사용량은 압축된 텍스트 크기와 유사하다.
• 색인 구축 속도는 RLCSA 대비 35% 더 빠르며, 공간 사용량은 RLCSA의 60% 이하로, 대규모 반복적 텍스트 컬렉션에 매우 효율적이다.
• 짧은 패턴(≤10자) 검색에서는 RLCSA보다 빠르며, 더 긴 패턴에 대해서도 공간/시간의 트레이드오���이 유리하다.
• '존재 여부' 쿼리 제외한 모든 주요 지표에서 RLCSA를 능가한다. 특히 존재하지 않는 패턴에 대해선 RLCSA가 여전히 더 빠르다.
• 생물정보학, 버전 관리, 위키에서 유래한 반복적 텍스트의 공개 코퍼스를 http://pizzachili.dcc.uchile.cl/repcorpus.html 에 제공하여 벤치마크 표준화를 도모한다.