[논문 리뷰] Improved ESP-index: a practical self-index for highly repetitive texts

Yoshimasa Takabatake, Yasuo Tabei외 1명|arXiv (Cornell University)|2014. 04. 19.

Natural Language Processing Techniques참고 문헌 10인용 수 9

한 줄 요약

이 논문은 고도로 반복되는 텍스트를 위한 개선된 자기색인인 ESP-index-I를 제안한다. 이는 이진 탐색을 생략하고 압축된 데이터 구조에서의 빠른 랭크/선택 연산을 사용하여 쿼리 검색 속도를 향상시킨다. 높은 압축률을 유지하면서도, 게놈과 위키백과와 같은 실제 반복 텍스트 데이터셋에서 SLP-index, LZ-index, FM-index보다 빠른 쿼리 성능과 공간 효율성을 확보한다.

ABSTRACT

While several self-indexes for highly repetitive texts exist, developing a practical self-index applicable to real world repetitive texts remains a challenge. ESP-index is a grammar-based self-index on the notion of edit-sensitive parsing (ESP), an efficient parsing algorithm that guarantees upper bounds of parsing discrepancies between different appearances of the same subtexts in a text. Although ESP-index performs efficient top-down searches of query texts, it has a serious issue on binary searches for finding appearances of variables for a query text, which resulted in slowing down the query searches. We present an improved ESP-index (ESP-index-I) by leveraging the idea behind succinct data structures for large alphabets. While ESP-index-I keeps the same types of efficiencies as ESP-index about the top-down searches, it avoid the binary searches using fast rank/select operations. We experimentally test ESP-index-I on the ability to search query texts and extract subtexts from real world repetitive texts on a large-scale, and we show that ESP-index-I performs better that other possible approaches.

연구 동기 및 목표

• 쿼리 처리 중 느린 이진 탐색으로 인해 발생하는 ESP-index의 성능 저하 문제를 해결하기 위해.
• 대규모 반복 텍스트, 예를 들어 유전자 서열과 버전 관리된 소스 코드와 같은 분야에 적합한 실용적인 문법 기반 자기색인을 개발하기 위해.
• 문법 압축 자기색인에서 유래된 높은 압축 비율을 훼손하지 않으면서도 쿼리 검색 효율성을 향상시키기 위해.
• 이전 방법이 실패하는 32비트 입력 한계를 초월하는 대규모 반복 텍스트 컬렉션의 스케일러블 처리를 가능하게 하기 위해.

제안 방법

• 큰 알파벳 집합을 위한 랭크/선택 사전 기반의 단일 비트 스트링과 정수 배열을 사용하여 ESP-index의 DAG 인코딩을 압축된 데이터 구조로 대체한다.
• O(1) 시간 복잡도를 가지는 빠른 선택 연산을 활용하여, 쿼리 매칭 중 변수의 등장 위치를 찾는 데 필요한 이진 탐색을 제거한다.
• 효율적인 상향식 탐색과 부분 텍스트 추출을 지원하는 압축된 표현 방식을 사용해 ESP 분석 트리를 인코딩한다.
• 반복되는 부분 텍스트 간의 분석 오차가 제한됨을 보장하기 위해 편집 민감도 분석(ESP) 프레임워크를 통합한다.
• ESP 분석에서 유도된 문맥 자유 문법(CFG)의 압축된 표현을 사용해 공간 사용량을 최소화한다.
• 문법 기반 색인 구조의 최적화된 탐색을 통해 카운팅 및 위치 쿼리 모두를 지원한다.

실험 결과

연구 질문

• RQ1 ESP-index의 이진 탐색 성능 저하 문제를 제거하여 쿼리 성능을 향상시킬 수 있는가?
• RQ2 기존의 DAG 인코딩 대신 랭크/선택 기반의 압축된 구조를 사용하면 더 빠른 쿼리 시간을 얻을 수 있는가?
• RQ3 12GB 인간 게놈과 7.8GB 위키백과 덤프와 같은 대규모 반복 텍스트에 대해 개선된 색인이 스케일링 가능한가?
• RQ4 실제 데이터에서 ESP-index-I가 SLP-index, LZ-index, FM-index보다 공간 효율성과 쿼리 속도 면에서 어떻게 비교되는가?
• RQ5 새로운 인코딩 방법은 고도로 반복되는 데이터를 포함한 실생활 응용 분야에서 실용적인가?

주요 결과

• ESP-index-I는 200MB DNA 및 영문자 텍스트에서 ESP-index 대비 카운팅 및 위치 쿼리 시간을 1.4배에서 4.3배 빠르게 하였다.
• 모든 테스트 방법 중에서 가장 작은 메모리 프로필을 확보하였으며, DNA와 영문자 텍스트에 각각 156MB와 165MB만을 사용하여, FM-index의 325MB 및 482MB를 뛰어넘었다.
• ESP-index-I의 구축 시간은 ESP-index와 유사했으며(약 80~95초), SLP-index의 1,900초 이상을 훨씬 빠르게 하였다.
• 12GB 인간 게놈과 7.8GB 위키백과 텍스트에서, 다른 방법들이 실패한 32비트 한계를 초월하여 ESP-index-I는 데이터를 성공적으로 색인하고 처리하였다.
• ESP-index-I는 문법 기반 자기색인 중에서 경쟁적인 부분 텍스트 추출 성능을 보였으며, 대규모 반복 데이터셋에서 SLP-index 및 LZ-index를 능가하였다.
• 12GB 게놈에 대해 3.8GB의 색인 크기와 7.8GB 위키백과에 대해 594MB의 색인 크기를 확보하였으며, 위치 저장소는 각각 1.5GB 및 246MB를 사용하여 매우 높은 압축성을 보였다.