[논문 리뷰] Approximate Hamming Distance in a Stream

Clifford, Raphaël, Starikovskaya, Tatiana|arXiv (Cornell University)|2011. 09. 24.

Algorithms and Data Compression참고 문헌 12인용 수 3

한 줄 요약

이 논문은 스트리밍 알고리즘을 제안하며, 스트림 기반의 매개변수화된 패턴 매칭을 상수 시간 내에 처리하고, 높은 확률로 비선형, 거의 최적의 공간 사용량을 달성한다. 패턴의 p-주기성 특성을 활용하고, 매칭을 표현하기 위해 산술적 등차수열을 사용하는 버퍼 기반 접근 방식을 통해, 실시간으로 매개변수화된 매칭을 효율적으로 추적한다. 이는 기존의 스트리밍 패턴 매칭에서 비선형 공간 사용의 한계를 뛰어넘는 중요한 전진이다.

ABSTRACT

We consider the problem of computing a (1+epsilon)-approximation of the Hamming distance between a pattern of length n and successive substrings of a stream. We first look at the one-way randomised communication complexity of this problem. We show the following: - If Alice and Bob both share the pattern and Alice has the first half of the stream and Bob the second half, then there is an O(epsilon^{-4}*log^2(n)) bit randomised one-way communication protocol. - If Alice has the pattern, Bob the first half of the stream and Charlie the second half, then there is an O(epsilon^{-2}*sqrt(n)*log(n)) bit randomised one-way communication protocol. We then go on to develop small space streaming algorithms for (1 + epsilon)-approximate Hamming distance which give worst case running time guarantees per arriving symbol. - For binary input alphabets there is an O(epsilon^{-3}*sqrt(n)*log^2(n)) space and O(epsilon^{-2}*log(n)) time streaming (1 + epsilon)-approximate Hamming distance algorithm. - For general input alphabets there is an O(epsilon^{-5}*sqrt(n)*log^4(n)) space and O(epsilon^{-4}*log^3(n)) time streaming (1 + epsilon)-approximate Hamming distance algorithm.

연구 동기 및 목표

• 최소한의 공간 및 시간 복잡도로 스트리밍 모델에서 매개변수화된 패턴 매칭 문제를 해결하기 위해.
• 대부분의 스트리밍 패턴 매칭 문제를 제한하는 오랜 기간 동안 알려진 Ω(m) 공간 장벽을 극복하기 위해.
• 정확한 매칭보다 더 복잡한 문제에 대해 비선형, 거의 최적의 공간 솔루션 가능성을 입증하기 위해.
• 실시간 데이터 스트림에서 매개변수화된 매칭을 탐지하기 위한 실용적이고 효율적인 방법을 제공하기 위해.

제안 방법

• 패턴의 p-주기를 활용하여 효율적인 매칭 탐지에 기여하는 구조적 반복을 식별한다.
• 후보 매칭 위치를 저장하기 위해 크기가 O(|ΣP| + ρ)인 버퍼를 사용한다. 여기서 ρ는 p-주기이고 |ΣP|는 패턴 내 고유 기호의 수이다.
• 매개변수화된 매칭 문제를 정확한 문자열 주기성 문제로 변환하기 위해 사전 문자열 변환 기법을 적용한다.
• 매칭을 고립된 위치(집합 Y에 저장) 또는 등차수열의 일부(집합 A로 표현)로 식별한다. 이 등차수열의 주기는 ρ이다.
• 새로운 스트림 기호가 도착함에 따라 매칭 정보를 점진적으로 갱신하기 위해 롤링 지문 기법을 활용한다.
• 일정 범위를 초월한 매칭은 주기가 ρ인 등차수열을 이룬다는 것을 증명하여 압축된 표현이 가능하다.

실험 결과

연구 질문

• RQ1 매개변수화된 패턴 매칭이 스트리밍 모델에서 비선형 공간으로 해결될 수 있는가? 많은 관련 문제들에 대해 알려진 Ω(m) 하한선이 존재하더라도.
• RQ2 매개변수화된 매칭에서 스트림 기호당 상수 시간 처리를 달성하면서도 Θ(m) 공간보다 크게 줄일 수 있는가?
• RQ3 패턴의 구조적 특성(예: p-주기성 등)은 스트리밍 패턴 매칭의 공간 및 시간 복잡도를 줄이는 데 어떻게 활용될 수 있는가?
• RQ4 주기적인 패턴에서 발생하는 매칭은 어떻게 압축적으로 표현할 수 있으며, 이는 효율적인 저장 및 갱신을 가능하게 하는가?

주요 결과

• 알고리즘은 높은 확률로 도착하는 스트림 기호당 상수 시간 처리를 달성한다.
• 공간 사용은 비선형이며 거의 최적의 수준이며, 버퍼의 경우 O(|ΣP| + ρ)로 제한되며, 많은 경우 Θ(m)보다 훨씬 작다.
• 길이 3m/2인 어떤 윈도우 내의 매칭 수는 O(|ΣP|)로 제한되며, 이는 효율적인 저장 및 표현을 가능하게 한다.
• 일정 오프셋을 초월한 매칭은 주기가 ρ인 등차수열을 이룬다는 것이 입증되었으며, 이는 압축된 표현이 가능하다.
• 이 방법은 스트리밍 환경에서 매개변수화된 매칭에 대해 처음으로 비선형 공간 솔루션을 제공하며, 비트리비얼한 패턴 매칭 문제에서 Ω(m) 공간 장벽을 돌파한다.
• 소수의 기호만 재라벨링되는 경우에도 이 방법은 강건하며, 이로 인해 공간 사용이 더욱 줄어든다.