[논문 리뷰] Streaming Enumeration on Nested Documents

Martı́n Muñoz, Cristian Riveros|arXiv (Cornell University)|2020. 10. 12.

Advanced Database Systems and Queries인용 수 7

한 줄 요약

이 논문은 XML 및 JSON과 같은 중첩 문서에 대한 쿼리에 대해 Visibly Pushdown Transducers (VPT)를 사용하여 스트리밍 순서 정렬 알고리즘을 제안한다. 이 알고리즘은 입력을 한 번만 스캔한 후 일정한 지연 시간을 보장하며, 최악의 경우 최적의 업데이트 시간과 메모리 사용량을 확보한다. I/O-비일의 VPT에 대해서는 최적의 성능을 보이며, 결정화를 통해 모든 VPT로 확장 가능하다.

ABSTRACT

Some of the most relevant document schemas used online, such as XML and JSON, have a nested format. In the last decade, the task of extracting data from nested documents over streams has become especially relevant. We focus on the streaming evaluation of queries with outputs of varied sizes over nested documents. We model queries of this kind as Visibly Pushdown Transducers (VPT), a computational model that extends visibly pushdown automata with outputs and has the same expressive power as MSO over nested documents. Since processing a document through a VPT can generate a massive number of results, we are interested in reading the input in a streaming fashion and enumerating the outputs one after another as efficiently as possible, namely, with constant-delay. This paper presents an algorithm that enumerates these elements with constant-delay after processing the document stream in a single pass. Furthermore, we show that this algorithm is worst-case optimal in terms of update-time per symbol and memory usage.

연구 동기 및 목표

• 중첩 문서(예: XML, JSON)에 대한 쿼리의 효율적이고 스트리밍 기반 평가를 가능하게 하여 최소한의 메모리와 일정한 출력 간격 지연을 확보한다.
• 전체 문서를 저장하지 않고도 한 번의 스캔로도 잠재적으로 거대한 출력 집합을 생성하는 중첩 문서의 순서 정렬 문제를 해결한다.
• 업데이트 시간과 메모리 사용량에 대해 이론적 보장을 제공하며, 제안된 알고리즘의 최악의 경우 최적성을 입증한다.
• MSO 논리가 중첩 데이터에서 표현할 수 있는 능력을 포괄하는 Visibly Pushdown Transducers (VPT)의 더 넓은 클래스로 일정 지연 순서 정렬을 확장한다.
• 문서 스팬너 및 XPath, XQuery와 같은 쿼리 언어와의 통합을 통해 실용적 적용 가능성을 입증한다.

제안 방법

• 쿼리를 Visibly Pushdown Transducers (VPT)로 모델링하여, 가시적 스택 자동화에 출력 기능을 추가함으로써 중첩 문서에서 MSO의 표현력을 포괄한다.
• 입력 스트림을 한 번의 스캔으로 처리하며, 효율적인 출력 순서 정렬을 위해 관련 상태와 변수 캡처를 추적하는 압축된 데이터 구조를 유지한다.
• 비일의 VPT에 대해서는, 유효한 경로를 따라 변수 캡처를 병합함으로써 일정 지연 순서 정렬을 지원하는 유도된 전이기계 T_G를 구성한다.
• 이 구성은 v-경로—캡처 변수로 레이블이 붙은 전이의 시퀀스—에 대한 병합 연산을 사용하여 출력 집합을 압축적으로 표현하고 효율적인 순서 정렬을 가능하게 한다.
• 업데이트 시간 복잡도가 O(|Q|²|Δ||2^CX|) 이내로 제한되며, 이는 문제에 대해 최악의 경우 최적이 되는 것으로 입증된다.
• 일반적인(비일의가 아닌) VPT에 대해서는 기저 자동기의 결정화를 적용하여, 데이터 복잡도에서 전체 VPT 클래스로 일정 지연 순서 정렬 보장을 확장한다.

실험 결과

연구 질문

• RQ1 중첩 문서에 대한 스트리밍 쿼리 평가가 입력 스트림을 한 번만 스캔한 후 일정 지연 시간 보장을 갖는 순서 정렬로 수행될 수 있는가?
• RQ2 이러한 스트리밍 순서 정렬에 필요한 최소한의 최악의 경우 업데이트 시간과 메모리 사용량은 무엇이며, 이를 달성할 수 있는가?
• RQ3 MSO가 중첩 문서에서 표현할 수 있는 능력을 스트리밍 환경에서 효율적인 순서 정렬과 함께 포괄할 수 있는가?
• RQ4 비일의 VPT에서 일정 지연 순서 정렬을 결정화를 통해 일반 VPT로 확장할 수 있는가?
• RQ5 제안된 알고리즘이 XPath, XQuery 또는 JSON 쿼리 언어와 같은 실용적 쿼리 언어에 적용되어 보장된 효율성으로 동작할 수 있는가?

주요 결과

• 제안된 알고리즘은 입력 스트림을 한 번만 스캔한 후 I/O-비일의 VPT에 대해 일정 지연 순서 정렬을 달성하며, 업데이트 시간이 O(|Q|²|Δ||2^CX|) 이내로 제한된다.
• 이 알고리즘은 업데이트 시간과 메모리 사용량 측면에서 최악의 경우 최적이며, 임의의 스트리밍 알고리즘으로서 최소한 이 정도의 시간과 공간이 필요로 하는 입력 인스턴스가 존재한다.
• v-경로에 대한 병합 연산을 통한 유도 전이기계 T_G의 구성은 원본 VPT의 의미를 유지하면서도 정확하고 효율적인 출력 순서 정렬을 보장한다.
• 일반적인 VPT에 대해서는 기저 EVPA의 결정화를 통해 일정 지연 순서 정렬을 달성하며, 데이터 복잡도에서 전체 VPT 클래스로 결과를 확장한다.
• 이 알고리즘은 실세계 쿼리 언어인 XPath 및 XQuery에 적용 가능하며, 데이터 추출을 위한 문서 스팬너 모델과도 호환된다.
• 출력 매핑 구성을 포함한 전체 순서 정렬 파이프라인은 출력 크기 선형 시간 내에서 실행되며, 출력 선형 지연 시간 보장을 확보한다.