[논문 리뷰] Two simple full-text indexes based on the suffix array

Szymon Grabowski, Marcin Raniszewski|arXiv (Cornell University)|2014. 05. 22.

Algorithms and Data Compression참고 문헌 7인용 수 3

한 줄 요약

이 논문은 두 가지 색인 기반 전문 텍스트 색인, 즉 SA-hash와 FBCSA를 제안한다. SA-hash는 해시 테이블을 사용해 초기 검색 간격을 좁혀 패턴 검색 속도를 향상시킨다. FBCSA는 단일 셀 액세스를 빠르게 하기 위해 최적화된 압축형 블록 기반 색인 변형이다. SA-hash는 표준 색인 대비 2–3배 빠른 성능을 보이며, 추가로 0.2n–1.1n 바이트의 메모리를 사용한다. FBCSA는 유사한 압축 수준에서 관련된 압축 색인보다 몇 배 빠른 단일 셀 액세스 성능을 제공하지만, 대량 추출에는 성능이 열 劣하다.

ABSTRACT

We propose two suffix array inspired full-text indexes. One, called SA-hash, augments the suffix array with a hash table to speed up pattern searches due to significantly narrowed search interval before the binary search phase. The other, called FBCSA, is a compact data structure, similar to M{ä}kinen's compact suffix array, but working on fixed sized blocks. Experiments on the Pizza~\&~Chili 200\,MB datasets show that SA-hash is about 2--3 times faster in pattern searches (counts) than the standard suffix array, for the price of requiring $0.2n-1.1n$ bytes of extra space, where $n$ is the text length, and setting a minimum pattern length. FBCSA is relatively fast in single cell accesses (a few times faster than related indexes at about the same or better compression), but not competitive if many consecutive cells are to be extracted. Still, for the task of extracting, e.g., 10 successive cells its time-space relation remains attractive.

연구 동기 및 목표

• 검색 성능을 우선시하는 더 빠른 전문 텍스트 색인 설계를 목적으로 하며, 특히 성능이 핵심인 응용 분야를 대상으로 한다.
• 보조 데이터 구조를 통한 표준 색인에 대한 개선을 통해 실용적인 공간-시간 트레이드오프를 탐색한다.
• 개별 SA 셀에 대한 효율적인 랜덤 액세스를 지원하는, Mäkinen의 압축 색인 배열의 압축형 블록 정렬 변형을 제시한다.
• 색인 기반 색인에서 속도, 공간, 액세스 패턴(단일 셀 대비 연속 셀 액세스) 간의 성능 트레이드오프를 평가한다.

제안 방법

• SA-hash는 길이 k(예: k=3–4)인 모든 접두어에 대해 색인 간격의 시작 및 끝 인덱스를 저장하는 해시 테이블을 색인에 추가하여 이진 탐색의 범위를 신속히 좁힐 수 있도록 한다.
• 해시 테이블은 텍스트의 모든 가능한 k-길이 접두어를 기반으로 구축되며, 각 항목은 해당 접두어로 시작하는 접미사가 위치한 색인 인덱스 간격 [l, r]을 매핑한다.
• FBCSA는 색인을 고정 크기의 블록(bs = 32 또는 64)으로 나누며, 색인 값의 샘플링을 통해 공간 효율성을 확보한다.
• 각 블록에 대해 FBCSA는 샘플링 간격 ss를 통해 소수의 명시적 저장된 SA 값과 함께 저장하고, 중간 값은 복원하기 위한 룩업 테이블을 사용한다. 이를 통해 빠른 랜덤 액세스가 가능하다.
• 이 구조는 32비트 경계에 맞추어 정렬된 압축 표현 방식을 사용하여 메모리 액세스 효율성을 높이고 공간 사용량을 줄인다.
• 두 색인 모두 200MB 크기의 Pizza & Chili 데이터셋을 대상으로 평가되었으며, 패턴 검색(카운트), 단일 셀 액세스, 연속 셀 추출 시간을 성능 측정 기준으로 삼았다.

실험 결과

연구 질문

• RQ1 해싱 기법을 사용해 색인 기반 전문 텍스트 색인에서 패턴 검색 속도를 향상시킬 수 있는가? 특히 초기 검색 간격을 좁혀 이진 탐색의 범위를 줄일 수 있는가?
• RQ2 블록 기반 압축 색인 변형(FBCSA)의 성능은 기존의 압축 색인 대비 단일 셀 액세스 속도와 공간 사용량 측면에서 어떻게 비교되는가?
• RQ3 색인 쿼리에서 간격 경계를 사전에 계산하기 위해 해시 테이블을 사용할 경우, 공간 오버헤드와 검색 속도 간의 트레이드오프는 어떻게 되는가?
• RQ4 샘플링 간격(ss)과 블록 크기(bs)는 FBCSA의 랜덤 및 연속 셀 액세스 패턴에서 성능과 공간 사용량에 어떤 영향을 미치는가?
• RQ5 FBCSA는 대량 액세스에 최적화되어 있지 않지만, 소규모 범위의 추출(예: 5–10개 연속 셀)에서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• SA-hash는 표준 색인 대비 2–3배 더 빠른 패턴 검색(카운트 쿼리) 성능을 보이며, 데이터셋과 k값에 따라 0.2n에서 1.1n 바이트의 추가 공간을 사용한다.
• SA-hash의 성능 향상은 이진 탐색 이전에 검색 간격이 크게 좁혀져 비교 횟수가 감소하기 때문이며, 이는 주요 원인으로 작용한다.
• FBCSA는 MakCSA 및 LCSA/Psi보다 단일 셀 SA 액세스에서 몇 배나 더 빠른 성능을 보이며, 유사하거나 더 우수한 압축 비율에서 경쟁 가능한 성능을 달성한다.
• 연속 셀 액세스(예: 5–10개 셀)의 경우, 특히 작은 샘플링 간격(ss)을 사용할 경우, 하위 선형 시간 증가 추세 덕분에 FBCSA는 경쟁력 있는 성능 유지를 한다. 다만 대규모 범위 추출에는 전용 색인에 비해 열 劣하다.
• 카운트 쿼리에서 FBCSA는 DNA 및 영문 데이터셋에서는 MakCSA와 유사한 성능을 보였지만, XML 및 소스 코드 데이터셋에서는 특히 로그 스케일링 하에서 상당히 느린 성능을 보였다.
• SA-hash의 룩업 테이블(LUT2, LUT3)의 공간 오버헤드는 200MB 데이터셋 기준 약 4배 감소했으며, 이는 더 큰 텍스트에 대해서도 확장 가능함을 시사한다.