[論文レビュー] On Optimal Top-K String Retrieval

Rahul Shah, Cheng Sheng+2 more|arXiv (Cornell University)|Jul 11, 2012

Algorithms and Data Compression参考文献 13被引用数 6

ひとこと要約

本稿は、線形空間を用いて $O(p/B + \log_B n + \log^{(h)}n + k/B)$ の I/O を達成する、トップ-k 文字列検索の I/O 効率の良い外部メモリインデックスを提示する。これは近似的に最適なクエリパフォーマンスである。また、$O(n\log^*n)$ の空間を用いる変種では、最適な $O(p/B + \log_B n + k/B)$ の I/O を達成する。このアプローチは、トップ-k 検索を木構造上の優先順位付きの区間スタービング問題に再解釈することで、効率的な外部メモリ処理と、デスクトップ検索やメール検索のような実用的ワークロードにおける最適なパフォーマンスを実現する。

ABSTRACT

Let ${\cal{D}}$ = $\{d_1, d_2, d_3, ..., d_D\}$ be a given set of $D$ (string) documents of total length $n$. The top-$k$ document retrieval problem is to index $\cal{D}$ such that when a pattern $P$ of length $p$, and a parameter $k$ come as a query, the index returns the $k$ most relevant documents to the pattern $P$. Hon et. al. \cite{HSV09} gave the first linear space framework to solve this problem in $O(p + k\log k)$ time. This was improved by Navarro and Nekrich \cite{NN12} to $O(p + k)$. These results are powerful enough to support arbitrary relevance functions like frequency, proximity, PageRank, etc. In many applications like desktop or email search, the data resides on disk and hence disk-bound indexes are needed. Despite of continued progress on this problem in terms of theoretical, practical and compression aspects, any non-trivial bounds in external memory model have so far been elusive. Internal memory (or RAM) solution to this problem decomposes the problem into $O(p)$ subproblems and thus incurs the additive factor of $O(p)$. In external memory, these approaches will lead to $O(p)$ I/Os instead of optimal $O(p/B)$ I/O term where $B$ is the block-size. We re-interpret the problem independent of $p$, as interval stabbing with priority over tree-shaped structure. This leads us to a linear space index in external memory supporting top-$k$ queries (with unsorted outputs) in near optimal $O(p/B + \log_B n + \log^{(h)} n + k/B)$ I/Os for any constant $h${$\log^{(1)}n =\log n$ and $\log^{(h)} n = \log (\log^{(h-1)} n)$}. Then we get $O(n\log^*n)$ space index with optimal $O(p/B+\log_B n + k/B)$ I/Os.

研究の動機と目的

• デスクトップ検索やメール検索などのアプリケーションでディスク上に格納されたデータに対して、外部メモリにおけるトップ-k 文字列検索の非自明な I/O 界隈が欠如している問題に対処すること。
• 従来の内部メモリアプローチが $O(p)$ の I/O を要するのに対し、最適な $O(p/B)$ を達成できないという制限を克服するため、問題を優先順位付きの区間スタービングとして再考すること。
• 線形空間のインデックスを設計し、出力がソートされていなくても、近似的に最適な I/O 複雑度でトップ-k クエリをサポートすること。
• 空間計算量 $O(n\log^*n)$ を用いて、最適な $O(p/B + \log_B n + k/B)$ の I/O を達成すること。また、パターンのローカスが事前に分かっている場合に、$O(k)$ 時間でソート済み出力をサポートすること。

提案手法

• トップ-k ドキュメント検索問題を、文書スコアとパターン出現の幾何的性質を活用した、木構造上の優先順位付き区間スタービング問題に再定式化する。
• スイーピングラインと交差する区間を、重み順に整列したまま保持するための永続的リンクリストを用い、先行者探索とリスト走査により効率的なトップ-k 検索を実現する。
• 一般化サフィックスツリー（GST）上に候補ツリー構造を構築し、各ノードにビットベクトルを設け、どの候補リンクがスタービングされたかをマークすることで、トップ-k 結果の高速選択を可能にする。
• ビットベクトルにランク/セレクト構造を拡張し、$O(1)$ 時間でトップ-k スコアのリンクを選択可能とし、$k$ が小さい場合に最適な $O(k)$ クエリ時間を保証する。
• 外部メモリデータ構造を統合して I/O 複雑度を低減し、任意の定数 $h$ に対して $O(p/B + \log_B n + \log^{(h)}n + k/B)$ の I/O を達成する。
• オンラインのソート済み範囲報告と区間スタービングを組み合わせ、ワード-RAM ヒープを用いて結果を効率的にマージし、RAM 上では $O(\log n + k)$ 時間を達成する。

実験結果

リサーチクエスチョン

• RQ1 外部メモリにおいて、I/O 複雑度が最適に近いトップ-k 文字列検索を効率的に解けるか？
• RQ2 従来の内部メモリアプローチが $O(p)$ の I/O を要するというボトルネックを回避するために、問題を再構造化できるか？
• RQ3 線形空間を維持しながら、外部メモリにおけるトップ-k クエリの近似的に最適な I/O 複雑度を実現できるか？
• RQ4 $\log^*n$ の空間オーバーヘッドを排除することで、真に最適な空間と I/O パフォーマンスを達成できるか？
• RQ5 パターンのローカスが事前に計算されている場合、フレームワークが $O(k)$ 時間でソート済み出力をサポートできるか？

主な発見

• 本稿は、任意の定数 $h$ に対して、$O(p/B + \log_B n + \log^{(h)}n + k/B)$ の I/O を達成する線形空間の外部メモリインデックスを実現した。これは近似的に最適な結果である。
• このインデックスの変種は $O(n\log^*n)$ の空間を用い、トップ-k クエリに対して最適な $O(p/B + \log_B n + k/B)$ の I/O を達成する。
• RAM モデルにおいて、パターンのローカスが事前に提供されている場合、フレームワークは $O(k)$ 時間でソート済みトップ-k 検索をサポートし、最適なパフォーマンスを達成する。
• 永続的データ構造とビットベクトルのランク/セレクト操作の活用により、優先順位付きの効率的な区間スタービングが可能となり、クエリ時間が $O(\log\log n + k)$ に短縮される。
• 4方向範囲クエリモデルに比べ、問題を区間スタービングに再解釈することで、I/O 効率の良い4次元範囲クエリが非現実的であるという点を回避する。
• このフレームワークは、デスクトップ検索やメール検索などの実世界ワークロードに適用可能であり、$p/B$ と $k/B$ が通常は小さな定数であるため、I/O 効率が極めて重要となる。