[논문 리뷰] Fast In-Memory XPath Search over Compressed Text and Tree Indexes

Diego Arroyuelo, Francisco Claude외 6명|arXiv (Cornell University)|2009. 07. 13.

Algorithms and Data Compression참고 문헌 56인용 수 9

한 줄 요약

이 논문은 XML 텍스트와 트리 구조를 모두 압축된 자기색인으로 사용하는 빠른 메모리 내 XPath 쿼리 시스템인 SXSI를 제안한다. 압축된 텍스트 색인(RLCSA)과 압축된 트리 표현(괄호와 레이블의 비트벡터)을 통합함으로써, 트리 오토마타와 적응형 쿼리 최적화를 통해 효율적인 하이브리드 XPath 쿼리를 가능하게 하며, 텍스트 기반 쿼리에서 기존 시스템 대비 1~3개의 지수만큼 빠른 성능을 달성하면서도 문서 크기의 두 배 이내의 메모리만 사용한다.

ABSTRACT

A large fraction of an XML document typically consists of text data. The XPath query language allows text search via the equal, contains, and starts-with predicates. Such predicates can efficiently be implemented using a compressed self-index of the document's text nodes. Most queries, however, contain some parts of querying the text of the document, plus some parts of querying the tree structure. It is therefore a challenge to choose an appropriate evaluation order for a given query, which optimally leverages the execution speeds of the text and tree indexes. Here the SXSI system is introduced; it stores the tree structure of an XML document using a bit array of opening and closing brackets, and stores the text nodes of the document using a global compressed self-index. On top of these indexes sits an XPath query engine that is based on tree automata. The engine uses fast counting queries of the text index in order to dynamically determine whether to evaluate top-down or bottom-up with respect to the tree structure. The resulting system has several advantages over existing systems: (1) on pure tree queries (without text search) such as the XPathMark queries, the SXSI system performs on par or better than the fastest known systems MonetDB and Qizx, (2) on queries that use text search, SXSI outperforms the existing systems by 1--3 orders of magnitude (depending on the size of the result set), and (3) with respect to memory consumption, SXSI outperforms all other systems for counting-only queries.

연구 동기 및 목표

• 디스크 저장소에 의존하지 않고 효율적인 XPath 쿼리 평가를 지원하는 압축된, 메모리 내 색인을 설계하는 것.
• XML 텍스트 내용과 트리 구조에 대한 압축된 자기색인을 통합하여 통합된 쿼리 시스템을 구성하는 것.
• 텍스트 색인에서의 빠른 카운팅 결과를 활용하여 상향식 및 하향식 탐색 중 어느 쪽을 선택할지 결정함으로써 쿼리 실행 순서를 최적화하는 것.
• 구조적 및 텍스트 기반 조건을 모두 포함하는 하이브리드 XPath 쿼리에서 고성능을 달성하는 것.
• 메모리 사용량을 원본 문서 크기의 두 배 이내로 유지하여 전체적으로 메모리 내 운영이 가능하도록 하는 것.

제안 방법

• 노드의 레이블과 함께 열림 및 닫힘 괄호의 비트벡터를 사용하여 XML 트리 구조를 표현하는 것.
• 모든 텍스트 노드를 RLCSA(Run-Length Compressed Suffix Array) 데이터 구조를 사용한 글로벌 압축 자기색인에 저장하는 것.
• 트리 오토마타를 사용하여 XPath 쿼리를 평가하고, 텍스트 색인에서의 빠른 카운팅 결과에 따라 동적으로 상향식 또는 하향식 탐색을 선택하는 것.
• 비트벡터와 텍스트 색인에서의 효율적인 랭크/셀렉트 연산을 위한 압축된 데이터 구조를 활용하여 신속한 탐색 및 패턴 매칭을 수행하는 것.
• 핵심 쿼리 엔진을 수정하지 않고도 생물학적 시퀀스 패턴을 위한 PSSM(Position-Specific Scoring Matrix) 쿼리를 지원하기 위해 텍스트 색인을 확장하는 것.
• 트리 및 오토마타 로직을 그대로 유지하면서도 텍스트 색인 확장 기능(예: PSSM)을 분리하여 쿼리 평가를 최적화하는 것.

실험 결과

연구 질문

• RQ1 구조와 텍스트를 모두 포함하는 하이브리드 XPath 쿼리에서, XML에 대한 압축된 메모리 내 색인이 기존 시스템을 초월할 수 있는가?
• RQ2 색인 특성에 기반하여 쿼리 실행 전략(상향식 대비 하향식)을 자동으로 선택함으로써 성능을 극대화할 수 있는가?
• RQ3 자기색인 기반 XML 표현 방식이 효율적인 XPath 평가를 지원하면서도 얼마나 메모리 사용량을 줄일 수 있는가?
• RQ4 PSSM과 같은 고급 텍스트 색인 기법을 쿼리 엔진의 핵심 로직을 수정하지 않고 XPath 엔진에 통합할 수 있는가?
• RQ5 시스템의 성능은 다양한 결과 집합 크기와 쿼리 유형에 따라 어떻게 스케일링되는가?

주요 결과

• 순수한 트리 쿼리(예: XPathMark)에서는 SXSI가 MonetDB와 Qizx와 같은 가장 빠른 알려진 시스템과 동등하거나 더 뛰어난 성능을 보였다.
• 텍스트 검색을 포함하는 하이브리드 쿼리에서는 결과 집합 크기에 따라 기존 시스템 대비 1~3개의 지수만큼 빠른 성능을 보였다.
• 모든 테스트 데이터와 쿼리에서 SXSI의 메모리 소비는 원본 XML 문서 크기의 두 배 이내로 일관되게 유지되었다.
• 생물학적 시퀀스(예: 프로모터 및 엑손 영역)에 대한 PSSM 기반 쿼리는 효율적으로 지원되었으며, 큰 결과 집합에서도 종합 쿼리 시간이 100ms 이내였다.
• 특히 텍스트 중심 쿼리에서 성능 이점이 두드러졌으며, 텍스트 색인이 신속한 카운팅을 통해 빠른 성능 향상에 기여했다.
• 모듈러 설계 덕분에 트리나 오토마타 컴포넌트를 수정하지 않고도 새로운 텍스트 쿼리 기능(예: PSSM)을 추가할 수 있었으며, 확장성의 가능성을 입증했다.