[논문 리뷰] On Optimal Top-K String Retrieval

Rahul Shah, Cheng Sheng외 2명|arXiv (Cornell University)|2012. 07. 11.

Algorithms and Data Compression참고 문헌 13인용 수 6

한 줄 요약

이 논문은 선형 공간을 사용하여 $O(p/B + \log_B n + \log^{(h)}n + k/B)$ I/O를 달성하는 I/O 효율적인 외부 메모리 색인을 제안한다. 이는 최적에 가까운 쿼리 성능을 제공하며, $O(n\log^*n)$ 공간을 사용하는 변형은 최적의 $O(p/B + \log_B n + k/B)$ I/O를 달성한다. 이 방법은 상위-k 검색을 트리형 구조에서 우선순위가 부여된 간격 자르기 문제로 재해석함으로써, 효율적인 외부 메모리 처리와 데스크톱 및 이메일 검색과 같은 실용적 워크로드에서 최적의 성능을 가능하게 한다.

ABSTRACT

Let ${\cal{D}}$ = $\{d_1, d_2, d_3, ..., d_D\}$ be a given set of $D$ (string) documents of total length $n$. The top-$k$ document retrieval problem is to index $\cal{D}$ such that when a pattern $P$ of length $p$, and a parameter $k$ come as a query, the index returns the $k$ most relevant documents to the pattern $P$. Hon et. al. \cite{HSV09} gave the first linear space framework to solve this problem in $O(p + k\log k)$ time. This was improved by Navarro and Nekrich \cite{NN12} to $O(p + k)$. These results are powerful enough to support arbitrary relevance functions like frequency, proximity, PageRank, etc. In many applications like desktop or email search, the data resides on disk and hence disk-bound indexes are needed. Despite of continued progress on this problem in terms of theoretical, practical and compression aspects, any non-trivial bounds in external memory model have so far been elusive. Internal memory (or RAM) solution to this problem decomposes the problem into $O(p)$ subproblems and thus incurs the additive factor of $O(p)$. In external memory, these approaches will lead to $O(p)$ I/Os instead of optimal $O(p/B)$ I/O term where $B$ is the block-size. We re-interpret the problem independent of $p$, as interval stabbing with priority over tree-shaped structure. This leads us to a linear space index in external memory supporting top-$k$ queries (with unsorted outputs) in near optimal $O(p/B + \log_B n + \log^{(h)} n + k/B)$ I/Os for any constant $h${$\log^{(1)}n =\log n$ and $\log^{(h)} n = \log (\log^{(h-1)} n)$}. Then we get $O(n\log^*n)$ space index with optimal $O(p/B+\log_B n + k/B)$ I/Os.

연구 동기 및 목표

• 데스크톱 및 이메일 검색과 같은 응용 분야에서 디스크 기반 데이터에 대해 외부 메모리에서 상위-k 문자열 검색에 대한 비트라이벌 I/O 경계가 부족한 문제를 해결한다.
• 기존 내부 메모리 접근 방식이 최적의 $O(p/B)$ 가 아닌 $O(p)$ I/O를 유발하는 한계를 극복하기 위해, 문제를 우선순위가 부여된 간격 자르기 문제로 재구성한다.
• 출력이 정렬되지 않은 상태여도 근사 최적의 I/O 복잡도로 상위-k 쿼리를 지원하는 선형 공간 색인을 설계한다.
• 특정 패턴의 로커스가 사전에 알려져 있을 경우, $O(n\log^*n)$ 공간을 사용하여 최적의 $O(p/B + \log_B n + k/B)$ I/O를 달성하고, 정렬된 출력을 $O(k)$ 시간 내에 지원한다.

제안 방법

• 문서 점수와 패턴 발생의 기하학적 성질을 활용하여, 상위-k 문서 검색 문제를 트리형 구조에서 우선순위가 부여된 간격 자르기 문제로 재구성한다.
• 스위핑 라인과 겹치는 간격을 유지하기 위해 지속성 링크드 리스트를 사용하며, 이는 무게 순으로 정렬되어 있어 선조자 검색과 리스트 순회를 통해 효율적인 상위-k 검색을 가능하게 한다.
• 일반화된 서피크 트리(GST) 위에 후보 트리를 구성하고, 각 노드에 비트 벡터를 사용하여 어떤 후보 링크가 자르는지 표시함으로써, 상위-k 결과의 빠른 선택을 가능하게 한다.
• 비트 벡터에 순위/선택 구조를 추가하여 상위-k 점수를 가진 링크의 선택을 $O(1)$ 시간에 지원함으로써, 작은 $k$에 대해 최적의 $O(k)$ 쿼리 시간을 보장한다.
• 외부 메모리 데이터 구조를 통합하여 I/O 복잡도를 감소시켰으며, 임의의 상수 $h$에 대해 $O(p/B + \log_B n + \log^{(h)}n + k/B)$ I/O를 달성한다.
• 온라인 정렬 범위 보고와 간격 자르기 문제를 결합하여 워드-RAM 힙을 사용해 결과를 효율적으로 병합함으로써, RAM 환경에서 $O(\log n + k)$ 시간 내에 처리한다.

실험 결과

연구 질문

• RQ1 외부 메모리에서 상위-k 문자열 검색을 근사 최적의 I/O 복잡도로 효율적으로 해결할 수 있는가?
• RQ2 기존 내부 메모리 접근 방식의 $O(p)$ I/O 복잡도 장애를 피하기 위해 문제를 재구성할 수 있는가?
• RQ3 선형 공간을 유지하면서도 외부 메모리에서 상위-k 쿼리에 대해 근사 최적의 I/O 복잡도를 달성할 수 있는가?
• RQ4 $\log^*n$ 공간 오버헤드를 제거하여 진정으로 최적의 공간과 I/O 성능를 달성할 수 있는가?
• RQ5 패턴의 로커스가 사전에 계산되어 있을 경우, 이 프레임워크가 $O(k)$ 시간 내에 정렬된 출력을 지원할 수 있는가?

주요 결과

• 논문은 임의의 상수 $h$에 대해 $O(p/B + \log_B n + \log^{(h)}n + k/B)$ I/O를 달성하는 선형 공간 색인을 외부 메모리에서 확립하였다. 이는 근사 최적의 성능이다.
• 색인의 변형은 $O(n\log^*n)$ 공간을 사용하며, 상위-k 쿼리에 대해 최적의 $O(p/B + \log_B n + k/B)$ I/O를 달성한다.
• RAM 모델에서는 패턴의 로커스가 사전에 제공될 경우, $O(k)$ 시간 내에 정렬된 상위-k 검색을 지원하여 최적의 성능를 달성한다.
• 지속성 데이터 구조와 비트 벡터 순위/선택 연산의 사용은 우선순위가 부여된 간격 자르기를 효율적으로 가능하게 하여 쿼리 시간을 $O(\log\log n + k)$로 감소시킨다.
• 기존의 4면 범위 쿼리 모델보다 성능이 뛰어나며, 문제를 간격 자르기 문제로 재해석함으로써 I/O 효율적인 4차원 범위 쿼리의 비현실성을 피한다.
• 이 프레임워크는 데스크톱 및 이메일 검색과 같은 실세계 워크로드에 적용 가능하며, $p/B$와 $k/B$가 일반적으로 작은 상수이므로 I/O 효율성이 핵심이 된다.