[논문 리뷰] Cell-probe bounds for online edit distance and other pattern matching problems

Raphaël Clifford, Markus Jalsenius외 1명|arXiv (Cornell University)|2015. 01. 04.

Algorithms and Data Compression참고 문헌 18인용 수 8

한 줄 요약

이 논문은 새로운 인코딩 체계와 철저히 설계된 입력 분포를 사용하여, 에디트 거리, 허밍 거리, 컨볼루션, 가장 긴 공통 부분수열을 포함한 온라인 패턴 매칭 문제에 대해 처음으로 비자명한 셀-프로브 하한을 확립한다. 이는 허밍 거리와 컨볼루션에 대해 Ω(δ log n / (w + log log n))의 하한을 증명하고, 온라인 에디트 거리와 LCS에 대해 비트-프로브 모델에서 Ω(√(log n)/(log log n)^{3/2})의 하한을 도출한다. 또한 에디트 거리에 대해 O((log²n)/w)의 상계를 제시하여 셀-프로브 복잡도와 RAM 복잡도 사이에 상당한 격차가 있음을 드러낸다.

ABSTRACT

We give cell-probe bounds for the computation of edit distance, Hamming distance, convolution and longest common subsequence in a stream. In this model, a fixed string of n symbols is given and one δ-bit symbol arrives at a time in a stream. After each symbol arrives, the distance between the fixed string and a suffix of most recent symbols of the stream is reported. The cell-probe model is perhaps the strongest model of computation for showing data structure lower bounds, subsuming in particular the popular word-RAM model.• We first give an Ω((δ log n)/(w+log log n)) lower bound for the time to give each output for both online Hamming distance and convolution, where w is the word size. This bound relies on a new encoding scheme and for the first time holds even when w is as small as a single bit.• We then consider the online edit distance and longest common subsequence problems in the bit-probe model (w = 1) with a constant sized input alphabet. We give a lower bound of Ω([EQUATION]log n/(log log n)3/2) which applies for both problems. This second set of results relies both on our new encoding scheme as well as a carefully constructed hard input distribution.• Finally, for the online edit distance problem we show that there is an O((log2n)/w) upper bound in the cell-probe model. This bound gives a contrast to our new lower bound and also establishes an exponential gap between the known cell-probe and RAM model complexities.

연구 동기 및 목표

• 셀-프로브 모델에서 온라인 패턴 매칭 문제에 대해 강력한 계산 하한을 확립하는 것. 이는 데이터 구조 하한에 대해 알려진 가장 강력한 모델이다.
• 기호가 점진적으로 도착하는 스트리밍 환경에서 에디트 거리, 허밍 거리, 컨볼루션, 가장 긴 공통 부분수열을 계산하는 데 필요한 시간 복잡도를 분석하는 것.
• 단일 비트의 워드 크기(w = 1)일지라도 비자명한 하한을 도출할 수 있도록 하는 새로운 인코딩 체계를 개발하는 것.
• 비트-프로브 모델에서 온라인 에디트 거리와 LCS 문제의 난이도를 극대화하는 데 기여하는 어려운 입력 분포를 구성하는 것.
• 셀-프로브 하한과 RAM 모델에서 알려진 상계를 대조하여 복잡도 간의 상당한 격차를 드러내는 것.

제안 방법

• 최소 워드 크기(w = 1)일지라도 셀-프로브 모델에서 하한을 도출할 수 있도록 하는 새로운 인코딩 체계를 도입한다.
• 이 인코딩 체계를 적용하여 온라인 허밍 거리와 컨볼루션에 대해 Ω(δ log n / (w + log log n))의 하한을 도출한다. 여기서 δ는 기호 크기이고 w는 워드 크기이다.
• 철저히 설계된 어려운 입력 분포를 인코딩 기법과 결합하여 비트-프로브 모델에서 온라인 에디트 거리와 가장 긴 공통 부분수열에 대해 Ω(√(log n)/(log log n)^{3/2})의 하한을 증명한다 (w = 1).
• 셀-프로브 모델을 사용하여 온라인 에디트 거리에 대해 O((log²n)/w)의 상계를 증명함으로써 이 모델에서의 날카로운 상계를 보여준다.
• 유도된 하한과 상계를 비교하여 셀-프로브 모델과 RAM 모델 간의 복잡도에 초다항적 격차가 있음을 드러낸다.
• 정보 이론적 및 조합적 추론을 활용하여 최소한의 가정 하에 온라인 패턴 매칭의 난이도를 입증한다.

실험 결과

연구 질문

• RQ1 셀-프로브 모델에서 온라인 허밍 거리와 컨볼루션을 계산하는 데 필요한 최소 시간은 얼마이며, 입력 크기와 워드 크기에 따라 어떻게 변화하는가?
• RQ2 상수 알파벳 기반으로 비트-프로브 모델(w = 1)에서 온라인 에디트 거리와 가장 긴 공통 부분수열에 대해 비자명한 하한을 확립할 수 있는가?
• RQ3 새로운 인코딩 체계는 워드 크기가 작을 경우 셀-프로브 모델에서 하한을 증명하는 데 어떻게 기여하는가?
• RQ4 온라인 에디트 거리의 셀-프로브 복잡도와 RAM 모델 복잡도 사이의 관계는 어떠한가?
• RQ5 비트-프로브 모델에서 온라인 에디트 거리와 LCS의 난이도를 극대화하기 위해 어려운 입력 분포를 구성할 수 있는가?

주요 결과

• 셀-프로브 모델에서 온라인 허밍 거리와 컨볼루션에 대해 Ω(δ log n / (w + log log n))의 하한이 확립되었으며, 이는 w = 1일 때에도 유효하다.
• 상수 알파벳 기반 비트-프로브 모델에서 온라인 에디트 거리와 가장 긴 공통 부분수열에 대해 Ω(√(log n)/(log log n)^{3/2})의 하한이 증명되었다.
• 새로운 인코딩 체계는 최소 워드 크기일지라도 셀-프로브 모델에서 비자명한 하한을 가능하게 하여 중요한 기술적 진전을 이룬다.
• 셀-프로브 모델에서 온라인 에디트 거리에 대해 O((log²n)/w)의 상계가 입증되었으며, 이는 하한과 대비되어 초다항적 격차를 드러낸다.
• 결과적으로 온라인 에디트 거리에 대해 알려진 셀-프로브 모델과 RAM 모델 복잡도 사이에 지수적 격차가 있음을 입증하여 RAM 모델이 진정한 난이도를 반영하지 못하는 한계를 드러낸다.
• 인코딩 체계와 어려운 입력 분포의 조합을 통해 비트-프로브 모델에서 LCS와 에디트 거리에 대해 처음으로 비자명한 하한을 확립할 수 있었다.