[논문 리뷰] Dictionary matching in a stream

Raphaël Clifford, Allyx Fontaine외 3명|arXiv (Cornell University)|2015. 04. 23.

Algorithms and Data Compression참고 문헌 17인용 수 6

한 줄 요약

이 논문은 O(log log(k+m))의 시간 복잡도를 가지며 문자당 O(k log m)의 공간을 사용하는 랜덤화된 스트리밍 알고리즘을 제안한다. 여기서 k는 패턴의 수이고 m은 최대 패턴 길이다. 패턴을 짧은, 주기적인, 비주기적인 클래스로 분할하고, 점진적 매칭과 색상이 부여된 조상 쿼리를 사용한 지문 기반 기법을 통해, 낮은 오류 확률로 패턴 발생을 효율적으로 탐지한다.

ABSTRACT

We consider the problem of dictionary matching in a stream. Given a set of strings, known as a dictionary, and a stream of characters arriving one at a time, the task is to report each time some string in our dictionary occurs in the stream. We present a randomised algorithm which takes O(log log(k + m)) time per arriving character and uses O(k log m) words of space, where k is the number of strings in the dictionary and m is the length of the longest string in the dictionary.

연구 동기 및 목표

• 최소한의 공간과 낮은 문자당 시간 비용으로 작동하는 스트리밍 알고리즘을 설계한다.
• 다양한 길이의 패턴을 포함한 사전을 효율적으로 처리하여, 개별 패턴 매칭의 O(k) 시간 복잡도를 피한다.
• O(k log m) 단어의 공간 사용을 유지하면서도, 도착 시점에 대해 부분선형 시간을 확보함으로써 이론적 공간 하한선에 가까워진다.
• 입력이나 사전을 완전히 저장하지 않는 стр린밍 모델에서 패턴 탐지 시 거짓 양성 및 거짓 음성 확률을 최소화한다.

제안 방법

• 알고리즘은 사전 패턴을 세 가지 클래스로 분할한다: 짧은 패턴, 짧은 주기를 가진 긴 패턴, 긴 주기를 가진 긴 패턴.
• 각 패턴 클래스에 대해, 지문 기반 기법과 2의 거듭제곱 길이의 접두사에 대한 점진적 매칭을 조합하여 잠재적 매칭을 효율적으로 탐지한다.
• 롤링 지문 데이터 구조를 사용해 후보 매칭의 진행 상황을 유지하며, 이는 O(1) 시간 내에 업데이트 및 비교가 가능하다.
• 반전된 패턴 접미사의 압축된 트라이에서 색상이 부여된 조상 쿼리를 사용해 전체 패턴 매칭을 확인하고 탐지 지연을 제거한다.
• 지문의 원형 버퍼를 통해 k log m 문자의 제한된 지연 후 후보 패턴 확장의 확인을 상수 시간에 수행할 수 있다.
• 랜덤화를 활용해 오류 확률을 O(1/n)으로 유지하면서도 최적의 공간 범위 내에 머물도록 한다. 여기서 n은 스트림 길이이다.

실험 결과

연구 질문

• RQ1 스트리밍 환경에서 문자당 부분선형 시간 복잡도를 확보하면서도 근사 최적의 공간을 사용할 수 있는 사전 매칭이 가능한가?
• RQ2 전체 사전을 저장하지 않고도 다양한 길이의 패턴을 스트리밍 환경에서 효율적으로 매칭할 수 있는 방법은 무엇인가?
• RQ3 낮은 오류 확률을 유지하면서 시간 복잡도와 공간 복잡도를 모두 최소화할 수 있는 기법은 무엇인가?
• RQ4 접두사 매칭이 이르기 전에 발견되더라도, 전체 패턴 매칭을 제한된 지연 내에 탐지할 수 있는가?
• RQ5 O(k log m) 단어의 공간 사용을 유지하면서도 문자당 O(log log(k+m))의 시간 복잡도를 달성할 수 있는가?

주요 결과

• 알고리즘은 문자당 O(log log(k+m))의 시간 복잡도를 달성하여, 독립적인 패턴 매칭기법을 단순히 반복할 경우의 O(k) 시간에 비해 크게 향상된다.
• 공간 복잡도는 O(k log m) 단어이며, 이는 이론적 하한선인 Ω(k log n) 비트에 비해 로그 인자 정도의 오차 범위 내에 있다.
• 알고리즘은 스트림 길이 n에 대해 거짓 양성 및 거짓 음성 확률이 O(1/n)으로 낮게 유지된다.
• 탐지 지연은 k log m 문자로 제한되며, 이 지연은 압축된 트라이에서 색상이 부여된 조상 쿼리를 통해 제거된다.
• 반전된 패턴 접미사에 기반한 색상이 부여된 트라이 구조와 지문 기반 기법을 결합해 전체 패턴 매칭의 효율적 검증이 가능하다.
• 이 방법은 사전이나 입력 스트림을 완전히 저장할 수 없는 스트리밍 환경에서도 확장 가능한 사전 매칭을 가능하게 한다.