[논문 리뷰] Online Grammar Compression for Frequent Pattern Discovery

Shouhei Fukunaga, Yoshimasa Takabatake외 2명|arXiv (Cornell University)|2016. 07. 15.

Algorithms and Data Compression참고 문헌 4인용 수 6

한 줄 요약

이 논문은 이전 작업에 비해 $\Omega(\frac{1}{\lg^{*}N\lg m})$의 훨씬 향상된 근사 비율을 달성하면서 압축된 공간에서 작동하는 온라인 문법 압축 알고리즘을 제안한다. FOLCA(Fully Online Grammar Compression Algorithm)를 통합함으로써 반복되는 문자열을 최소한의 메모리 사용량으로 효율적으로 스트리밍 처리할 수 있으며, 공간 효율성에서 오프라인 방법을 능가하면서도 거의 최적에 가까운 패턴 추출을 유지한다.

ABSTRACT

Various grammar compression algorithms have been proposed in the last decade. A grammar compression is a restricted CFG deriving the string deterministically. An efficient grammar compression develops a smaller CFG by finding duplicated patterns and removing them. This process is just a frequent pattern discovery by grammatical inference. While we can get any frequent pattern in linear time using a preprocessed string, a huge working space is required for longer patterns, and the whole string must be loaded into the memory preliminarily. We propose an online algorithm approximating this problem within a compressed space. The main contribution is an improvement of the previously best known approximation ratio $Ω(\frac{1}{\lg^2m})$ to $Ω(\frac{1}{\lg^*N\lg m})$ where $m$ is the length of an optimal pattern in a string of length $N$ and $\lg^*$ is the iteration of the logarithm base $2$. For a sufficiently large $N$, $\lg^*N$ is practically constant. The experimental results show that our algorithm extracts nearly optimal patterns and achieves a significant improvement in memory consumption compared to the offline algorithm.

연구 동기 및 목표

• 대규모이고 반복적인 문자열에서의 빈번한 패턴 탐지 문제를 해결하기 위해 오프라인 방법이 과도한 메모리를 요구하는 문제를 다룬다.
• 최소한의 공간 오버헤드로 문법 압축을 사용하여 장기적인 빈번한 패턴을 근사하는 온라인 알고리즘을 개발한다.
• 이론적 근사 비율을 $\Omega(\frac{1}{\lg^{2}m})$에서 $\Omega(\frac{1}{\lg^{*}N\lg m})$로 향상시키며, 여기서 $N$은 문자열 길이이고 $m$은 최적 패턴 길이다.
• 완전히 온라인인 문법 압축 프레임워크(FOLCA)를 활용하여 스트리밍 데이터에 대한 실용적 구현을 가능하게 한다.
• 실험적으로 오프라인 접근 방식에 비해 메모리 소비를 극적으로 줄이면서도 거의 최적의 패턴을 추출함을 검증한다.

제안 방법

• 반복되는 부분 문자열을 식별하고 빈번한 패턴을 유지하는 압축된 파싱 트리(POSLP)를 구축하기 위해 편집 민감도 파싱(ESP)을 사용한다.
• 전체 문자열을 로딩하지 않고도 압축된 공간에서 POSLP를 구성하기 위해 완전히 온라인인 문법 압축 방법(FOLCA)을 적용한다.
• 모든 빈번한 패턴 $P$에 대해 길이 $\Omega(\frac{|P|}{\lg^{*}N\lg|P|})$ 이상의 부분 문자열을 유도하는 문법의 변수를 식별함으로써 강력한 근사 보장을 확보한다.
• 내부 노드당 $n$ 비트만으로도 파싱 트리 내 변수 빈도를 추적하기 위해 압축된 데이터 구조를 활용하여 공간을 최소화한다.
• 전체 입력을 저장하지 않고도 문자열을 스트리밍 방식으로 처리하며, 점진적으로 문법을 구축한다.
• 이론적 분석을 통해 기존 작업보다 개선된 근사 품질의 하한을 설정하며, 분모에 $\lg^2 m$ 대신 $\lg^* N \lg m$을 사용한다.

실험 결과

연구 질문

• RQ1 기존 오프라인 방법에 비해 더 높은 근사 비율을 달성할 수 있는 온라인 문법 압축 알고리즘이 빈번한 패턴 탐지에 적용될 수 있는가?
• RQ2 공간 효율성을 유지하면서도 근사 비율을 $\Omega(\frac{1}{\lg^2 m})$에서 $\Omega(\frac{1}{\lg^{*}N\lg m})$로 향상시킬 수 있는가?
• RQ3 압축된 공간 사용과 함께 스트리밍 방식으로 문법 압축과 빈번한 패턴 탐지를 수행할 수 있는가?
• RQ4 실제 성능 측면에서 온라인 알고리즘은 오프라인 방법에 비해 패턴 품질과 메모리 소비 측면에서 어떻게 비교되는가?
• RQ5 높은 반복성을 가진 데이터에서 장기적인 빈번한 패턴을 얼마나 잘 유지하는가?

주요 결과

• 제안된 알고리즘은 $\Omega(\frac{1}{\lg^{*}N\lg m})$의 근사 비율을 달성하여 이전의 $\Omega(\frac{1}{\lg^2 m})$ 이론적 한계를 크게 초월한다.
• einstein 벤치마크에서 알고리즘은 최적 패턴 길이의 평균 21.6%의 커버 비율을 기록하여 뛰어난 실용적 성능를 보였다.
• dna 데이터셋에서는 평균 근사 비율이 22.9%를 기록하여 장기적인 빈번한 패턴을 일관되게 추출함을 입증했다.
• 메모리 소비는 극적으로 감소했으며, 특히 큰 입력에서 오프라인 접두사 배열 방법이 메모리 제한으로 인해 실패한 점을 감안할 때 뚜렷한 이점이 있었다.
• 계산 시간은 수용 가능한 수준이었으며, 온라인 알고리즘이 오프라인 방법보다 몇 배 정도 느렸지만, 시간-공간 트레이드오프 측면에서 유리했다.
• 모든 벤치마크에서 거의 최적의 패턴을 성공적으로 추출하여 이론적 근사 비율의 격차가 존재하더라도 실용적 효과성이 확인되었다.