[논문 리뷰] Online Self-Indexed Grammar Compression

Yoshimasa Takabatake, Yasuo Tabei외 1명|arXiv (Cornell University)|2015. 07. 03.

Algorithms and Data Compression참고 문헌 14인용 수 5

한 줄 요약

이 논문은 입력 텍스트를 한 글자씩 처리하면서 압축 인덱스를 점진적으로 구축하는 최초의 온라인 자기색인 기반 문법 압축 방법인 OESP-index를 소개한다. 이는 전체 입력을 메모리에 저장하지 않고도 공간 효율적인 구축을 가능하게 하며, 경쟁적인 공간 효율성과 효율적인 패턴 검색 및 랜덤 액세스를 지원한다. 특히 대량의 반복 텍스트에 대해 오프라인 대비 작업 메모리 사용에서 뛰어난 성능을 보이며, 실제로 반복성이 높은 텍스트에서 실용적인 성능을 유지한다.

ABSTRACT

Although several grammar-based self-indexes have been proposed thus far, their applicability is limited to offline settings where whole input texts are prepared, thus requiring to rebuild index structures for given additional inputs, which is often the case in the big data era. In this paper, we present the first online self-indexed grammar compression named OESP-index that can gradually build the index structure by reading input characters one-by-one. Such a property is another advantage which enables saving a working space for construction, because we do not need to store input texts in memory. We experimentally test OESP-index on the ability to build index structures and search query texts, and we show OESP-index's efficiency, especially space-efficiency for building index structures.

연구 동기 및 목표

• 기존의 문법 기반 자기색인은 대량의 반복 텍스트 컬렉션을 위해 오프라인으로만 구축 가능하고, 큰 작업 메모리가 필요하다는 한계를 해결하기 위해.
• 입력 텍스트를 한 글자씩 처리함으로써 점진적인 색인 구축을 가능하게 하여 메모리 오버헤드를 줄이기 위해.
• 대규모 데이터 워크로드에서 변화하는 텍스트 컬렉션에 적합하게, 압축된 형태에서 효율적인 패턴 검색과 랜덤 액세스를 지원하기 위해.
• 온라인 문법 압축이 오프라인 방법과 비교해도 경쟁적인 공간 및 시간 효율성을 달성할 수 있음을 입증하기 위해.

제안 방법

• OESP-index는 에디트 감도 parsing(ESP)에 기반하며, 온라인 문법 압축을 위해 FOLCA(완전 온라인 LCA) 프레임워크를 활용한다.
• 랜덤 액세스를 위한 효율적인 랭크/선택 연산을 위해 사전과 길이 배열을 표현하기 위해 동적 웨이브릿 트리(DWT)를 사용한다.
• 입력 스트림으로부터 유도된 문맥 자유 문법(CFG)의 압축된 표현을 점진적으로 확장하면서 유지한다.
• 비트 스트링에 대한 GMR 스타일의 랭크/선택 연산과 동적 웨이브릿 트리를 활용하여 빠른 패턴 검색 및 카운팅을 지원한다.
• ESP에서 유도된 파싱 오차 한계를 활용하여, 해시 트리의 상향식 탐색을 통해 후보 패턴 발생 위치를 찾는다.
• 구축 과정은 온라인이다: 각 문자가 순차적으로 처리되며, 전체 텍스트를 메모리에 유지할 필요 없이 색인이 점진적으로 업데이트된다.

실험 결과

연구 질문

• RQ1 문법 기반 자기색인을 온라인으로 구현할 수 있는가? 즉, 전체 텍스트를 메모리에 저장하지 않고 스트리밍 입력으로부터 점진적인 구축이 가능한가?
• RQ2 높은 반복성을 가진 텍스트에 대해 온라인 자기색인의 공간 효율성은 오프라인 대비 어떻게 비교되는가?
• RQ3 온라인 구축 및 쿼리 처리의 성능 오버헤드는 최적화된 오프라인 방법에 비해 얼마나 되는가?
• RQ4 온라인 문법 압축은 이론적 보장이 있는 실용적인 패턴 검색과 랜덤 액세스를 효율적으로 지원할 수 있는가?
• RQ5 동적 웨이브릿 트리와 비트 스트링 표현 방식은 온라인 환경에서 메모리 사용과 쿼리 성능에 어떤 영향을 미치는가?

주요 결과

• einstein 데이터셋에서 OESP-index는 오프라인 ESP-index가 요구하는 작업 메모리의 2.5%만을 사용하여 뛰어난 공간 효율성을 입증했다.
• cere 데이터셋에서는 오프라인 ESP-index 대비 작업 메모리의 40%만을 사용하여, 반복성이 낮은 데이터에서도 메모리 우수성을 확인했다.
• OESP-index의 색인 크기는 LZ-index와 FM-index보다 작지만, ESP-index와 SLP-index보다는 크며, 주로 동적 웨이브릿 트리로 인한 오버헤드 때문이다.
• 구축 시간은 오프라인 ESP-index보다 느리며, einstein에서는 57.1배, cere에서는 58.1배 느리다. 이는 온라인 버전에서 GMR의 최적화된 웨이브릿 트리가 구현되어 있지 않기 때문이다.
• 패턴 위치 탐색 시간은 ESP-index보다 느리며, einstein에서는 24.9배, cere에서는 163.2배 느리지만, 이론적 보장이 있는 실용적인 패턴 검색을 여전히 지원한다.
• 성능의 상충 관계가 존재하지만, OESP-index는 대규모이고 변화하는 반복성이 높은 텍스트 컬렉션의 확장 가능한 처리를 가능하게 하는 최초의 온라인 문법 기반 자기색인이다.