[논문 리뷰] Indexing Highly Repetitive String Collections

Gonzalo Navarro|arXiv (Cornell University)|2020. 04. 06.

Algorithms and Data Compression참고 문헌 224인용 수 10

한 줄 요약

이 논문은 유전체 정보학, 버전 관리 소프트웨어, 웹 아카이브 등에서 흔히 나타나는 고도로 반복적인 문자열 컬렉션을 위한 고급 색인 기법을 조사한다. 통계적 압축을 넘어서 구조적 반복성(예: 공유 서브스트링, 공통된 버전)을 활용함으로써, 전체 텍스트 크기 대비 반복성 측정값 $ z $, $ \gamma $, 또는 $ r^* $ 비례하는 공간에서 효율적인 패턴 검색을 가능하게 하는 통합 프레임워크를 제시한다. 이는 부분선형 검색 시간을 달성하며, 전통적인 압축 색인의 압축 비율 열등성 문제를 해결한다.

ABSTRACT

Two decades ago, a breakthrough in indexing string collections made it possible to represent them within their compressed space while at the same time offering indexed search functionalities. As this new technology permeated through applications like bioinformatics, the string collections experienced a growth that outperforms Moore's Law and challenges our ability of handling them even in compressed form. It turns out, fortunately, that many of these rapidly growing string collections are highly repetitive, so that their information content is orders of magnitude lower than their plain size. The statistical compression methods used for classical collections, however, are blind to this repetitiveness, and therefore a new set of techniques has been developed in order to properly exploit it. The resulting indexes form a new generation of data structures able to handle the huge repetitive string collections that we are facing. In this survey we cover the algorithmic developments that have led to these data structures. We describe the distinct compression paradigms that have been used to exploit repetitiveness, the fundamental algorithmic ideas that form the base of all the existing indexes, and the various structures that have been proposed, comparing them both in theoretical and practical aspects. We conclude with the current challenges in this fascinating field.

연구 동기 및 목표

• 유전체학 및 버전 관리 시스템에서 흔한 대규모 고도로 반복적인 문자열 컬렉션의 색인화 문제를 해결한다. 기존의 압축 색인은 낮은 압축 비율로 인해 실패한다.
• 단순한 통계적 부족성 외에도, 공유 서브스트링, 공통된 버전 등의 구조적 반복성을 활용한 색인 기법을 개발한다.
• 압축된 표현 형태에서 직접 빠른 패턴 매칭 및 쿼리(예: 위치 지정, 카운팅, 문서 검색)를 지원하는 데이터 구조를 설계한다.
• 전체 텍스트 크기 대신 반복성 측정값(예: $ z $, $ \gamma $, $ r^* $)에 비례하는 공간 효율성을 확보함으로써 페타바이트 수준의 컬렉션에 대한 확장 가능한 분석을 가능하게 한다.
• 출력 블로트를 줄이기 위해 새로운 쿼리 모델(예: 문맥 기반 위치 지정, 범위 기반 문서 목록)을 도입하고 체계화한다.

제안 방법

• 반복성의 정도를 측정하고 압축 및 색인 설계를 이끄는 데 사용하기 위해 Lempel-Ziv 기반 측정값($ z $, $ z_{no} $, $ z_{end} $)을 사용한다.
• 반복적인 문자열을 압축적으로 표현하고, 효율적인 부분문자열 추출 및 핵심 지문 계산을 지원하기 위해 런레ング스 문법과 개선된 문맥 자유 문법을 활용한다.
• 블록 트리와 북마크 기법을 활용하여, 압축된 형태에서도 빠른 임의 접근과 Karp-Rabin 핵심 지문 계산을 가능하게 한다.
• BWT와 CDAWG(압축된 방향성 비순환 단어 그래프)를 적용하여, 압축된 공간에서 패턴 검색 및 문서 검색을 지원하는 서픽스 기반 색인을 구축한다.
• 파싱 기반 색인과 서픽스 기반 색인을 기하학적 데이터 구조와 통합하여, 텍스트 내 패턴의 주요 및 보조 발생 위치를 추적한다.
• 출력 크기를 줄이기 위해 문맥 또는 버전 계층에 따라 발생 위치를 군집화하는 새로운 쿼리 모델(예: 문맥 기반 위치 지정, 세분화된 문서 목록)을 설계한다.

실험 결과

연구 질문

• RQ1 통계적 압축을 넘어서 구조적 반복성을 효과적으로 활용하는 압축 색인을 어떻게 설계할 수 있는가?
• RQ2 압축된 고도로 반복적인 텍스트에서 빠른 패턴 검색을 가능하게 하는 기본적인 알고리즘 및 데이터 구조 기법은 무엇인가?
• RQ3 전체 텍스트 크기 대비 반복성 측정값(예: $ z $, $ \gamma $, $ r^* $)에 비례하는 공간에서 부분선형 검색 시간을 달성할 수 있는가?
• RQ4 출력 블로트를 줄이기 위해 반복적인 컬렉션에서 새로운 쿼리 모델(예: 문맥 기반 또는 범위 기반 문서 목록)을 어떻게 설계할 수 있는가?
• RQ5 공간, 시간, 기능성 측면에서 문법 기반, BWT 기반, 블록 트리 기반 압축 색인 간의 실용적이고 이론적인 상호 교환 관계는 무엇인가?

주요 결과

• 논문은 $ z $, $ \gamma $, $ r^* $, $ b $와 같은 반복성 측정값이 문자열 컬렉션의 압축 가능성 특성화 및 효율적 색인 설계에 핵심적임을 규명한다.
• 문법 기반 색인은 패턴 검색을 $ O(m + occ \log n) $ 시간과 $ O(g \log n) $ 공간에서 수행할 수 있으며, 여기서 $ g $는 텍스트를 압축하는 최소 크기의 문법 크기이다.
• 블록 트리와 북마크 기법은 압축된 형태에서도 $ O(\log n) $ 시간 내에 부분문자열 추출 및 Karp-Rabin 핵심 지문 계산을 효율적으로 수행할 수 있다.
• BWT 기반 색인은 패턴 검색을 $ O(m + occ) $ 시간과 $ O(r^*) $ 공간에서 수행할 수 있으며, 여기서 $ r^* $는 BWT와 그 역행의 런의 합이다.
• 논문은 문맥 기반 위치 지정이 $ O(m + cocc \log n) $ 시간과 $ O(r^* \log(n/r^*)) $ 공간에서 해결 가능하다고 입증하며, 이는 출력 크기를 크게 줄인다. 여기서 $ cocc $는 서로 다른 문맥의 수이다.
• 범위 기반 및 세분화된 문서 목록과 같은 새로운 쿼리 모델은 버전 계층에 맞게 역인덱스 구조를 변형함으로써 출력 크기 $ nrange $ 비례하는 시간 내에서 지원 가능하며, 문서 수 $ docc $ 비례하는 것이 아니라서 효율적이다.