[論文レビュー] On-line Indexing for General Alphabets via Predecessor Queries on Subsets of an Ordered List

Tsvi Kopelowitz|arXiv (Cornell University)|Aug 19, 2012

Algorithms and Data Compression参考文献 15被引用数 4

ひとこと要約

本稿では、一般のアルファベットに対して、$O(\log\log n + \log\log|\Sigma|)$ の最悪ケース期待時間/文字でオンラインサフィックスツリーを構築するための新しいデータ構造を提示する。この手法は、順序維持問題の新規変種である動的リストの部分集合における先行者探索問題（POLP）に問題を還元することで達成される。この解決策は、y-fast triesの統一的スプリットと、チャンクとバケットの更新の間での効率的なスケジューリングを活用し、最適な境界を維持する。

ABSTRACT

The problem of Text Indexing is a fundamental algorithmic problem in which one wishes to preprocess a text in order to quickly locate pattern queries within the text. In the ever evolving world of dynamic and on-line data, there is also a need for developing solutions to index texts which arrive on-line, i.e. a character at a time, and still be able to quickly locate said patterns. In this paper, a new solution for on-line indexing is presented by providing an on-line suffix tree construction in $O(\log \log n + \log\log |Σ|)$ worst-case expected time per character, where $n$ is the size of the string, and $Σ$ is the alphabet. This improves upon all previously known on-line suffix tree constructions for general alphabets, at the cost of having the run time in expectation. The main idea is to reduce the problem of constructing a suffix tree on-line to an interesting variant of the order maintenance problem, which may be of independent interest. In the famous order maintenance problem, one wishes to maintain a dynamic list $L$ of size $n$ under insertions, deletions, and order queries. In an order query, one is given two nodes from $L$ and must determine which node precedes the other in $L$. In the Predecessor search on Dynamic Subsets of an Ordered Dynamic List problem (POLP) it is also necessary to maintain dynamic subsets of $L$ such that given some $u\in L$ it will be possible to quickly locate the predecessor of $u$ in any subset. This paper provides an efficient data structure capable of solving the POLP with worst-case expected bounds that match the currently best known bounds for predecessor search in the RAM model, improving over a solution which may be implicitly obtained from Dietz [Die89]. Furthermore, this paper improves or simplifies bounds for several additional applications, including fully-persistent arrays and the Order-Maintenance Problem.

研究の動機と目的

• テキストが1文字ずつ到着する中で、リアルタイムにサフィックスツリーを構築する課題に取り組むこと。特に、大規模または一般のアルファベットに対して有効であるように。
• 一般のアルファベットに対して、より高い均積時間または最悪ケース時間境界を持つ既存のオンラインサフィックスツリー構築手法を改善すること。
• 順序付けられたリストの複数の動的部分集合に対して効率的な先行者クエリをサポートする動的データ構造を設計し、より高速なオンラインインデキシングを可能にすること。
• y-fast triesと順序維持構造のスプリット処理を統合・最適化し、相互干渉を回避し、期待される最悪ケース性能を維持すること。

提案手法

• オンラインサフィックスツリー構築問題を、動的リストの部分集合における先行者探索問題（POLP）に還元する。
• y-fast triesとx-fast triesを組み合わせたハイブリッドデータ構造を用い、$O(\log\log n)$ 時間で先行者クエリをサポートする。
• すべてのy-fast-trie構造において、$\log^2 n$ 回の挿入ごとにスプリットを発火する統一的スプリットメカニズムを導入し、干渉を防ぐ。
• 時間リソースを割り当てることで、順序維持構造とy-fast-trieの更新の間で作業をスケジューリングし、1回の挿入あたり$O(1)$ の期待時間で処理を保証する。
• チャンクとバケットのサイズおよび木の深さを変更し、タグ更新の頻度を低減させ、$O(\log n)$ の作業を$\log n$ の時間リソースに分散させる。
• チャンクスプリットとバケツスプリットの干渉を処理するための二重作業スケジューリング戦略を採用し、時間リソースあたりの期待作業量を$O(1)$ に保つ。

実験結果

リサーチクエスチョン

• RQ1 一般のアルファベットに対して、オンラインサフィックスツリー構築が$O(\log\log n + \log\log|\Sigma|)$ の最悪ケース期待時間/文字で達成可能か？
• RQ2 順序付けられたリストの動的部分集合における先行者クエリ問題は、低コストの更新を維持しながら効率的に解けるか？
• RQ3 y-fast triesと順序維持構造のスプリット処理を統合し、性能の低下を招かずに実現可能か？
• RQ4 y-fast triesと順序維持構造における同時に発生するスプリット操作の干渉を、最小限のオーバーヘッドで解消可能か？

主な発見

• 提案されたデータ構造は、$O(1)$ の最悪ケース時間で順序クエリをサポートし、この操作に関して最適な性能を達成する。
• 順序リスト$L$ にノードを挿入するには、$O(\log\log n)$ の最悪ケース期待時間で実行され、従来の均積境界を改善する。
• 任意の動的部分集合$S_i$ に要素を挿入するには、$O(\log\log n)$ の最悪ケース期待時間で実行され、RAMモデルにおける先行者探索の最良既知境界と一致する。
• 任意の部分集合$S_i$ においてノード$u$ の先行者を特定するには、$O(\log\log n)$ の最悪ケース時間で処理され、オンラインインデキシングにおける高速なパターン検索を保証する。
• 全メモリ使用量は線形のまま維持され、すべてのy-fast-triesにわたる総バケット数は$O(n/\log n)$ であり、スケーラビリティを保証する。
• 完全永続的配列や単調リストラベル付け問題といった関連問題に対しても、境界を改善または単純化する。