[논문 리뷰] Streaming Periodicity with Mismatches

Funda Ergün, Elena Grigorescu외 2명|arXiv (Cornell University)|2017. 08. 15.

Algorithms and Data Compression참고 문헌 16인용 수 4

한 줄 요약

이 논문은 $k$-period를 포함하는 문자열 $S$에서 오류를 허용하는 경우에 스트리밍 알고리즘을 제시하며, $\text{poly}(k, \log n)$ 공간을 사용한다. 길이 $n/2$ 이하인 $k$-period에 대해 단일 패ass 알고리즘과 임의의 길이의 $k$-period에 대해 이중 패스 알고리즘을 제안하며, $k = o(\sqrt{n})$일 때 단일 패스 계산에 $\Omega(k\log n)$ 공간이 필수적임을 보여주는 상한선을 제공함으로써, 오류가 있는 경우의 부분선형 공간 주기성 탐지에서 핵심 과제를 해결한다.

ABSTRACT

We study the problem of finding all $k$-periods of a length-$n$ string $S$, presented as a data stream. $S$ is said to have $k$-period $p$ if its prefix of length $n-p$ differs from its suffix of length $n-p$ in at most $k$ locations. We give a one-pass streaming algorithm that computes the $k$-periods of a string $S$ using $ ext{poly}(k, \log n)$ bits of space, for $k$-periods of length at most $\frac{n}{2}$. We also present a two-pass streaming algorithm that computes $k$-periods of $S$ using $ ext{poly}(k, \log n)$ bits of space, regardless of period length. We complement these results with comparable lower bounds.

연구 동기 및 목표

• 문자열의 $k$-주기(길이 $n-p$인 접두사와 접미사가 최대 $k$개의 위치에서 다를 수 있음)를 식별하기 위한 공간 효율적인 스트리밍 알고리즘을 설계하는 것.
• 고전적인 주기성 성질(예: $\gcd$ 기반 주기 닫힘)이 붕괴되는 오류 존재 조건에서 주기성 탐지 문제를 다루는 것.
• 길이가 $n/2$ 이하인 $k$-주기의 경우 단일 패스 알고리즘과 모든 $k$-주기의 경우 이중 패스 알고리즘을 제공하며, 둘 다 $\mathcal{O}(k^4 \log^9 n)$ 공간을 사용하는 것.
• 엄밀한 공간 하한선을 확립하여, $k = o(\sqrt{n})$일 때 단일 패스 $k$-주기 탐지에 $\Omega(k\log n)$ 공간이 필수적임을 보여주는 것. 이는 $k$-주기가 최대 $n/2$임을 약속하는 조건 하에서도 성립한다.

제안 방법

• 패턴 매칭에서 오류를 허용하는 경우의 피어프린팅 데이터 구조를 활용하여 스트리밍 환경에서 서브스트링을 효율적으로 압축하고 비교하는 데 사용한다.
• 이중 패스 접근 방식을 통해 임의의 주기 길이의 $k$-주기를 계산하기 위해 먼저 후보 주기를 추정하고, 이후 검증하는 방식을 사용한다.
• 길이 $n/2$ 이하인 주기만 고려하는 단일 패스 알고리즘을 사용하며, 피어프린팅과 샘플링을 통해 오류 수가 제한된 주기성을 탐지한다.
• 하한선을 증명하기 위해 해밍 거리 문제로의 환원을 적용하여, $\mathsf{HAM}(x,y) = k/2$와 $\mathsf{HAM}(x,y) = k/2 + 1$을 구분하는 데 $\Omega(k\log n)$ 공간이 필요함을 보여주는 구조를 구성한다.
• 조합론적 추론과 스타링의 근사법을 사용하여 특정 해밍 거리를 가진 문자열의 수를 근사하여, 저공간 알고리즘이 일정 비율의 입력에서 오류를 범할 수밖에 없음을 보여준다.
• 오류 존재 시 고전적인 주기성 성질(예: $\gcd(p,q)$가 주기임)이 더 이상 성립하지 않음을 통찰적으로 파악하고, 이에 따라 새로운 알고리즘 기법이 필요함을 밝힌다.

실험 결과

연구 질문

• RQ1 문자열이 접두사와 접미사 간 최대 $k$개의 오류를 허용할 수 있을 때, 스트리밍 모델에서 부분선형 공간으로 $k$-주기를 탐지할 수 있는가?
• RQ2 길이가 $n/2$ 이하인 모든 $k$-주기를 탐지하기 위한 단일 패스 스트리밍 알고리즘의 최소 공간 복잡도는 얼마인가?
• RQ3 모든 $k$-주기를 길이에 관계없이 $\text{poly}(k, \log n)$ 공간으로만 사용하는 이중 패스 스트리밍 알고리즘을 설계할 수 있는가?
• RQ4 특히 $k = o(\sqrt{n})$일 때, 단일 패스 스트리밍 알고리즘의 $k$-주기 탐지에 대한 본질적 공간 제약은 무엇인가?
• RQ5 오류가 주기성의 구조적 성질에 어떤 영향을 미치며, 이러한 영향을 알고리즘적으로 활용해 공간 효율성을 달성할 수 있는가?

주요 결과

• 길이 $n/2$ 이하인 모든 $k$-주기를 $\mathcal{O}(k^4 \log^9 n)$ 공간으로 단일 패스 스트리밍 알고리즘이 계산한다.
• 모든 길이의 $k$-주기를 $\mathcal{O}(k^4 \log^9 n)$ 공간으로 이중 패스 스트리밍 알고리즘이 계산한다.
• 모든 $k$-주기를 계산하는 단일 패스 스트리밍 알고리즘은 최악의 경우 $\Omega(n)$ 공간이 필요하다.
• $k = o(\sqrt{n})$ 이고 $k > 2$일 때, 최소 $1 - 1/n$ 확률로 가장 작은 $k$-주기를 계산하는 단일 패스 알고리즘은 $\Omega(k\log n)$ 공간이 필요하다.
• 문자열의 $k$-주기가 최대 $n/2$임을 약속하는 조건 하에서, 단일 패스 $k$-주기 탐지에 대해 $\Omega(k\log n)$ 공간의 엄밀한 하한선을 확립하여, 알고리즘의 공간 사용이 이 영역에서 점근적으로 최적임을 보여준다.
• 오류 존재 시 고전적인 주기성 성질(예: $\gcd(p,q)$가 주기임)이 붕괴됨에 따라 새로운 알고리즘 접근 방식이 필요하며, 본 논문은 이를 성공적으로 개발하였다.