[논문 리뷰] Exact Analysis of Pattern Matching Algorithms with Probabilistic Arithmetic Automata

Tobias Marschall, Sven Rahmann|arXiv (Cornell University)|2010. 09. 30.

Algorithms and Data Compression참고 문헌 18인용 수 3

한 줄 요약

이 논문은 일반적인 난수 텍스트 모델(독립 동일 분포, 마르코프, 은닉 마르코프 모델 포함) 하에서 창 기반 패턴 매칭 알고리즘(Horspool, BDM, BOM 등)의 문자 접근 횟수에 대한 정확한 분포를 계산하기 위해 확률적 산술 자동기(PAAs)를 사용하는 일반적인 프레임워크를 제시한다. 이 방법은 결정적 산술 자동기(DAAs)를 구성하고 최소화하여 비점근적 성능 분석을 가능하게 하며, 특정 패턴에 대한 알고리즘 행동에 대한 정확한 비용 분포와 비교 통계를 제공한다.

ABSTRACT

We propose a framework for the exact probabilistic analysis of window-based pattern matching algorithms, such as Boyer-Moore, Horspool, Backward DAWG Matching, Backward Oracle Matching, and more. In particular, we show how to efficiently obtain the distribution of such an algorithm's running time cost for any given pattern in a random text model, which can be quite general, from simple uniform models to higher-order Markov models or hidden Markov models (HMMs). Furthermore, we provide a technique to compute the exact distribution of \emph{differences} in running time cost of two algorithms. In contrast to previous work, our approach is neither limited to simple text models, nor to asymptotic statements, nor to moment computations such as expectation and variance. Methodically, we use extensions of finite automata which we call deterministic arithmetic automata (DAAs) and probabilistic arithmetic automata (PAAs) [13]. To our knowledge, this is the first time that substring- or suffix-based pattern matching algorithms are analyzed exactly. Experimentally, we compare Horspool's algorithm, Backward DAWG Matching, and Backward Oracle Matching on prototypical patterns of short length and provide statistics on the size of minimal DAAs for these computations.

연구 동기 및 목표

• 기존 연구가 점근적 성능이나 모멘트에 국한된 바를 넘어서 창 기반 패턴 매칭 알고리즘에 대한 정확하고 비점근적인 확률적 분석을 제공하는 것.
• 단순 균일 모델에 국한되지 않고 독립 동일 분포, 고차 마르코프, 은닉 마르코프 모델을 포함한 일반적인 텍스트 모델 하에서의 분석을 가능하게 하는 것.
• 기대값이나 분산 외에 주어진 패턴에 대해 문자 접근 비용의 정확한 분포를 계산하는 프레임워크를 개발하는 것.
• 두 알고리즘 간의 정확한 비용 차이 분포를 계산하여 특정 패턴 기반의 성능 평가가 가능하도록 하는 것.

제안 방법

• 주어진 패턴과 창 상태에 대해 패턴 매칭 알고리즘의 비용(예: 문자 접근 횟수)을 모델링하는 결정적 산술 자동기(DAAs)를 구성한다.
• 적용된 DFA 최소화 기법을 활용해 DAAs를 최소화하여 상태 공간을 축소하고 계산 효율성을 향상시킨다.
• 텍스트 모델의 확률을 통합하여 DAAs를 확률적 산술 자동기(PAAs)로 확장함으로써 유한 길이의 텍스트에 대한 정확한 분포 계산이 가능하도록 한다.
• 두 알고리즘 간의 비용 차이를 모델링하는 차이 DAA를 구성하기 위해 제품 구성을 사용하여 직접 비교가 가능하도록 한다.
• Horspool, B(N)DM, BOM 알고리즘을 짧은 패턴에 대해 다양한 텍스트 모델을 사용해 적용하고 평가한다.
• 실제 패턴에 대해 방법을 구현하고 평가하며, DAA 크기와 계산 시간을 성능 측정 지표로 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 텍스트 모델 하에서 유한 길이의 난수 텍스트에 대해 주어진 패턴 매칭 알고리즘의 문자 접근 비용에 대한 정확한 분포는 무엇인가?
• RQ2 특정 패턴에 대해 Horspool, B(N)DM, BOM의 성능 분포는 어떻게 비교되며, 그 상대적 효율성에 영향을 주는 요소는 무엇인가?
• RQ3 두 알고리즘 간의 비용 차이 분포를 정확하게 계산할 수 있으며, 이는 상대적 행동에 대해 어떤 통찰을 제공하는가?
• RQ4 DAA 최소화가 더 긴 패턴에 대해 상태 공간을 얼마나 줄이고 계산 가능성을 향상시키는가?
• RQ5 최소 DAA 크기가 패턴 길이에 따라 다항식적으로 증가하는가? 기존 구조와 비교해보면 어떻게 되는가?

주요 결과

• 이 프레임워크는 기대값이나 분산 외에도 창 기반 패턴 매칭 알고리즘의 전체 비용 분포를 정확하게 계산할 수 있다.
• {A,C,G,T}에서 길이 6인 패턴에 대해 최소 DAA는 B(N)DM 평균 42.8개, BOM 평균 41.8개, Horspool 평균 22개의 상태를 보였으며, 최소화로 인한 상태 공간의 현저한 감소를 확인할 수 있었다.
• 개별 비용 분포 계산은 패턴당 0.3~0.6초가 소요되었고, 비용 차이 계산은 14~36초가 소요되어 실용적인 타당성을 입증했다.
• BOM은 항상 B(N)DM보다 나은 이동을 보장하지 않음에도 불구하고, 일부 패턴(예: CAAAAA)에서는 48.2% 확률로 B(N)DM를 능가할 수 있었으며, 이는 창의 내용에 따른 영향 때문이었다.
• 최소 DAA 크기가 패턴 길이에 따라 다항식적으로 증가하는 것으로 보이며, 실용적인 패턴 길이에 대한 확장 가능성의 가능성을 시사한다.
• 기존 컆퍼런스 버전 대비 DAA 구축의 단순성과 최소화 효율성이 향상되어 더 긴 패턴의 분석이 가능해졌다.