[논문 리뷰] Lightweight LCP-Array Construction in Linear Time

Simon Gog, Enno Ohlebusch|arXiv (Cornell University)|2010. 12. 20.

Algorithms and Data Compression참고 문헌 12인용 수 4

한 줄 요약

이 논문은 LCP 배열을 구성하기 위한 두 가지 새로운 선형 시간 알고리즘을 제시한다. 이 알고리즘들은 오직 n 또는 2n 바이트의 메모리만을 사용하는 매우 공간 효율적인 방법이며, 캐시 미스를 최소화하여 현대 메모리 계층 구조에 최적화되어 있다. 보어스-위러러 변환과 순서 선택 데이터 구조를 활용해 필수적인 LCP 값들만 선택적으로 계산함으로써, 이전의 최고 성능 알고리즘들을 능가하며, 특히 알파벳 크기가 작거나 BWT에서 긴 런을 보이는 대규모 텍스트—예를 들어 DNA 서열과 XML 컬렉션—에서 뛰어난 성능을 발휘한다.

ABSTRACT

The suffix tree is a very important data structure in string processing, but it suffers from a huge space consumption. In large-scale applications, compressed suffix trees (CSTs) are therefore used instead. A CST consists of three (compressed) components: the suffix array, the LCP-array, and data structures for simulating navigational operations on the suffix tree. The LCP-array stores the lengths of the longest common prefixes of lexicographically adjacent suffixes, and it can be computed in linear time. In this paper, we present new LCP-array construction algorithms that are fast and very space efficient. In practice, our algorithms outperform the currently best algorithms.

연구 동기 및 목표

• 기존 알고리즘에서 낮은 국소성과 높은 캐시 미스 비율로 인해 발생하는 LCP 배열 구성의 성능 저하 문제를 해결한다.
• 추가 메모리로 오직 n 또는 2n 바이트만 사용하면서도 선형 시간 복잡도를 유지하는 공간 효율적인 알고리즘을 개발한다.
• 캐시 미스를 줄이기 위해 문자 비교 횟수를 늘리는 방식으로 현대 컴퓨터 아키텍처에 최적화한다. 특히 BWT에서 양호한 국소성을 가지는 경우에 유리하다.
• 장기적인 DNA 서열과 대규모 XML 문서 컬렉션과 같은 실제 워크로드에서의 실용적 성능을 향상시킨다. 이러한 데이터는 알파벳 크기가 작고 BWT에서 긴 런을 보인다.
• BWT와 접미사 배열의 구조적 특성을 활용해 기존 최고 성능 알고리즘보다 더 빠른 구성 시간을 달성한다.

제안 방법

• LCP 값이 사전에 계산되지 않은 텍스트의 위치를 표시하기 위해 비트 배열 b를 사용한다. 이는 알려진 LCP 값과 미지의 LCP 값을 구분한다.
• n 또는 2n 바이트만을 사용하는 압축된 PLCP 배열(텍스트 순서의 lcp 값) 표현을 유지하며, 불가분 항목들에 집중한다.
• 비트 배열 b에 순서 선택 데이터 구조를 적용하여 상수 시간 순서 쿼리가 가능하게 하여, 압축된 PLCP 배열에 효율적으로 인덱싱할 수 있도록 한다.
• 접미사 배열과 BWT를 디스크에서 스트리밍 방식으로 왼쪽에서 오른쪽으로 스캔하여 LCP 값을 점진적으로 계산한다.
• 레마 2를 활용해 필요할 경우 감소 가능한 LCP 값을 ℓ = ℓ−1로 추론함으로써 문자 비교 횟수를 줄인다.
• PLCP 배열(텍스트 순서)을 접미사 배열 순서로 다시 매핑하기 위해 순서 쿼리를 사용하는 최종 변환을 적용한다.

실험 결과

연구 질문

• RQ1 최소한의 추가 메모리만을 사용하면서도 실질적인 성능 향상을 이룰 수 있는 LCP 배열 구성 방법이 가능한가?
• RQ2 LCP 구성에서 문자 비교 횟수를 늘리면서도 캐시 미스를 줄이기 위해 캐시 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 BWT의 구조적 특성—예를 들어 런 길이와 알파벳 크기—는 LCP 구성 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ4 선택적 문자 비교를 통해 오직 불가분 LCP 값을 계산하는 하이브리드 접근 방식이 전체 스캔 알고리즘을 능가할 수 있는가?
• RQ5 알 수 없는 LCP 값 위치를 표시하는 비트 배열에 순서 선택 구조를 사용하면 대규모 텍스트 데이터에서 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 알고리즘은 추가 공간이 오직 n 또는 2n 바이트뿐인 선형 시간 복잡도로 LCP 배열을 구성하며, 이는 이전 방법들에 비해 메모리 사용을 크게 줄였다.
• 특히 장기적인 DNA 서열(작은 알파벳)과 XML 문서 컬렉션(긴 BWT 런)과 같은 대규모 텍스트에서, 현재 알려진 최고 수준의 알고리즘보다 일관되게 빠른 성능을 보였다.
• 성능 향상은 대규모 입력에서 가장 두드러지며, 텍스트 크기가 커질수록 그 우월성이 더욱 커진다.
• 문자 비교 횟수는 약간 증가할 수 있지만, 더 스마트한 데이터 접근 패턴 덕분에 캐시 미스를 줄여 기존 최고 수준의 방법보다 뛰어난 성능을 발휘한다.
• 알 수 없는 LCP 값 위치를 표시하는 비트 배열에 순서 선택 구조를 사용함으로써, 압축된 PLCP 배열에 효율적으로 인덱싱할 수 있으며, 필수적인 값들만 선택적으로 계산할 수 있다.
• PLCP에서 LCP로의 최종 매핑 단계는 효율적이고 선형이며, 접미사 배열 순서에 맞게 값들을 정렬하기 위해 순서 쿼리를 기반으로 한다.