[논문 리뷰] Pattern matching in Lempel-Ziv compressed strings: fast, simple, and deterministic

Paweł Gawrychowski|arXiv (Cornell University)|2011. 04. 21.

Algorithms and Data Compression참고 문헌 13인용 수 14

한 줄 요약

이 논문은 레프텔-지브 컨프레스드 스트링에서 패턴 매칭을 위한 결정론적 O(n log(N/n) + m) 시간 알고리즘을 제시한다. 이는 파라크와 토르룹이 제안한 이전의 랜덤화된 O(n log²(N/n) + m) 해법보다 크게 향상된 것이다. LZ 파싱을 균형 잡힌 스트레이트 라인 프로그램(SLP)으로 변환하고, 접두사, 접미사, 커버를 접미사 트리 성질을 활용해 효율적으로 계산함으로써, 압축 해제 없이도 빠른 패턴 탐지가 가능해지며, 고압축 텍스트에 대해 최적의 성능을 달성한다.

ABSTRACT

Countless variants of the Lempel-Ziv compression are widely used in many real-life applications. This paper is concerned with a natural modification of the classical pattern matching problem inspired by the popularity of such compression methods: given an uncompressed pattern s[1..m] and a Lempel-Ziv representation of a string t[1..N], does s occur in t? Farach and Thorup gave a randomized O(nlog^2(N/n)+m) time solution for this problem, where n is the size of the compressed representation of t. We improve their result by developing a faster and fully deterministic O(nlog(N/n)+m) time algorithm with the same space complexity. Note that for highly compressible texts, log(N/n) might be of order n, so for such inputs the improvement is very significant. A (tiny) fragment of our method can be used to give an asymptotically optimal solution for the substring hashing problem considered by Farach and Muthukrishnan.

연구 동기 및 목표

• 완전한 압축 해제 없이도 레프텔-지브 압축 텍스트에서 패턴을 효율적으로 검색하는 문제를 다루는 것.
• 이전의 시간 복잡도가 더 높은 랜덤화 알고리즘의 한계를 극복하는 것.
• 기존에 알려진 최고의 시간 복잡도를 유지하거나 초월하는 결정론적 해법을 개발하는 것.
• n ≪ N인 고압축 텍스트에서 압축 비율에 따라 확장 가능한 알고리즘을 보장하는 것.
• 이론적으로 최적성을 유지하면서도 복잡한 이전 방법들에 비해 더 단순하고 실용적인 대안을 제공하는 것.

제안 방법

• 차리카르 등이 제안한 방법을 사용하여, 크기가 O(n log(N/n))인 균형 잡힌 스트레이트 라인 프로그램(SLP)으로 Lempel-Ziv 파싱을 변환하는 것.
• 하향식 순회와 동적 프로그래밍을 통해 패턴의 부분문자열을 나타내는 모든 비단말 기호에 대해 커버를 계산하는 것.
• 자식 기호의 커버와 성질에 기반하여, 비단말 기호의 접두사 및 접미사 배열을 선형 시간 알고리즘으로 계산하는 것.
• 접미사 트리 연산과 보조정리 12를 활용하여 정수 나눗셈과 2의 거듭제곱 길이 가정을 통해 상수 시간 내에 부분문자열을 식별하는 것.
• 보조정리 7을 적용하여, 신중히 선택된 인자와 범위를 사용해 비단말 기호 문자열 간의 접두사 및 접미사 겹침을 계산하는 것.
• 모든 생성규칙 X → YZ에 대해 prefix(Y) + suffix(Z)에서의 매칭 여부를 확인함으로써 패턴 발생 위치를 탐지하고, 효율적 검증을 위해 보조정리 6를 적용하는 것.

실험 결과

연구 질문

• RQ1 레프텔-지브 압축된 스트링에서 패턴 매칭에 대해 결정론적 알고리즘이 O(n log(N/n) + m) 시간 복잡도를 달성할 수 있는가? 이는 이전의 랜덤화된 O(n log²(N/n) + m) 해법보다 향상된 것이다.
• RQ2 특히 m ≫ n일 경우, LZ 압축 패턴 매칭에서 패턴 길이 m에 대한 제곱근 의존성을 제거할 수 있는가?
• RQ3 스트레이트 라인 프로그램과 접미사 트리 성질을 활용해, 압축 해제 없이도 효율적이고 결정론적인 문자열 겹침 계산이 가능한가?
• RQ4 정수 나눗셈이 허용되지 않는 대수 계산 모델에서 압축된 패턴 매칭의 이론적 하한은 무엇인가?
• RQ5 LZ 파싱의 구조를 어떻게 활용하여 고압축 텍스트에서 패턴 탐지에 대해 단순하면서도 효율적인 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 알고리즘은 결정론적 시간 복잡도 O(n log(N/n) + m)을 달성하여, 파라크와 토르룹이 제안한 이전의 랜덤화된 O(n log²(N/n) + m) 해법보다 향상되었다.
• 이 알고리즘은 이전 해법과 동일한 공간 복잡도 O(n log(N/n) + m)를 유지하여 메모리 사용 효율성이 높다.
• log(N/n)이 Ω(n)인 고압축 텍스트에서는 개선이 점진적으로 뚜렷해지며, 새로운 복잡도는 로그 인자의 제곱에서 선형으로 감소한다.
• 알고리즘은 기본 산술 연산과 접미사 트리 검색만을 사용하므로, 단순한 구성 요소로도 실용적이고 쉽게 구현할 수 있다.
• 정수 나눗셈이 허용되지 않는다고 가정할 경우, 대수 계산 트리 모델에서 Ω(n log N)의 하한이 존재하므로, 이 알고리즘이 이론적으로 최적임을 증명하였다.
• 이 방법의 약간의 변형이 파라크와 무투크리슈난이 연구한 부분 문자열 해시 문제에 대해 점진적으로 최적의 해법을 제공한다.