[論文レビュー] String algorithms and data structures

Paolo Ferragina|ArXiv.org|Jan 15, 2008

Algorithms and Data Compression参考文献 156被引用数 8

ひとこと要約

本調査は、効率的なテキストインデキシングを実現するための高度な文字列アルゴリズムおよびデータ構造について包括的な概要を提示する。圧縮、キャッシュに配慮した設計、外部記憶モデルの統合に重点を置いている。特に、サブリニアな領域およびクエリ時間の達成を可能にするFM-indexとWFM-indexが、大規模なテクストコレクションにおける高速なパターンマッチングを実現するための主要なツールであると強調している。

ABSTRACT

The string-matching field has grown at a such complicated stage that various issues come into play when studying it: data structure and algorithmic design, database principles, compression techniques, architectural features, cache and prefetching policies. The expertise nowadays required to design good string data structures and algorithms is therefore transversal to many computer science fields and much more study on the orchestration of known, or novel, techniques is needed to make progress in this fascinating topic. This survey is aimed at illustrating the key ideas which should constitute, in our opinion, the current background of every index designer. We also discuss the positive features and drawback of known indexing schemes and algorithms, and devote much attention to detail research issues and open problems both on the theoretical and the experimental side.

研究の動機と目的

• 現代のテキスト検索システムの複雑化に対応するため、文字列インデキシング方式の評価と比較を統一的な枠組みで行う。
• テキストインデキシングにおける領域効率、クエリ性能、構築時間の間の重要なトレードオフを特定および分析する。
• アルゴリズム工学、圧縮、システムレベルの最適化（例：キャッシュ、プリフェッチ）を統合した横断的かつ包括的なインデックス設計を提唱する。
• 文字列データ構造の理論的および実験的側面における未解決の問題と研究方向性を浮き彫りにする。
• 大規模なテキスト検索のための圧縮可能でキャッシュに配慮した、ブロックアドレス指定に対応したインデキシング技術の活用を促進する。

提案手法

• 複数の基準（領域、実行時間、I/O複雑性、構築の容易さ）に基づいた、インデキシング方式の体系的評価フレームワークを提案する。
• サブリニアな領域およびクエリ時間で高速なパターンマッチングを実現する、圧縮された、圧縮サフィックス配列に基づく構造としてFM-indexとWFM-indexを導入する。
• ブロックアドレス指定方式と圧縮インデックス（例：FM-index）を組み合わせることで、圧縮されたテキストブロックにおける効率的かつ局所的な検索を可能にする。
• 圧縮ブロック上でオポチュニスティック文字列マッチングアルゴリズムを採用し、I/Oを削減して性能を30–50％向上させる。
• Lempel-Zivパーシングと周期的構造の利用を活用して、類似度ベースの文字列計算における時間計算量を低減する。
• 高度な情報検索システムにおけるフィルタリングおよびインデキシングの原動力としてFM-indexを統合し、候補ブロック全体にわたるパターン出現の高速検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして圧縮された文字列データ構造を設計することで、パターンマッチングにおけるサブリニアな領域およびクエリ時間の達成が可能になるか？
• RQ2 大規模なテキスト検索において、従来のインverted index、ブロックアドレス指定方式、圧縮サフィックス配列の間で性能にどのようなトレードオフが生じるか？
• RQ3 外部記憶およびマルチレベルストレージアーキテクチャにおいて、圧縮とキャッシュをどのように共同最適化できるか？
• RQ4 文字列に内在する周期性は、類似度ベースの文字列計算における時間計算量の向上にどのように利用できるか？
• RQ5 ブロックアドレス指定と圧縮インデックスを組み合わせたハイブリッドインデキシングモデルは、ブロックサイズに依存せずにサブリニアな領域およびサブリニアなクエリ時間を達成できるか？

主な発見

• FM-indexとWFM-indexは、サブリニアな領域オーバーヘッドとサブリニアなクエリ時間を達成しており、理論的および実用的両面で従来のinverted indexやGlimpseツールを上回っている。
• ブロックアドレス指定とFM-indexのような圧縮インデックスを組み合わせることで、局所的かつ効率的なパターン検索が可能となり、オポチュニスティック文字列マッチングによりI/Oを削減し、性能を30–50％向上できる。
• 理論的分析により、ブロックアドレス指定＋圧縮インデックスアプローチが、インverted indexとは異なり、ブロックサイズに依存せずにサブリニアな領域およびサブリニアなクエリ時間を達成することが確認された。
• Lempel-Zivパーシングを用いた圧縮ベースの技術は、類似度検索における動的計画法の時間計算量をO(n²/log n)まで低減でき、予想される最適境界に近づく。
• 情報検索システムにおけるFM-indexのフィルタリング機構としての統合により、正確なパターン検索の効率を活用して、候補テキストブロック全体にわたるパターン出現の高速検出が可能になった。
• ブロックアドレス指定、圧縮、キャッシュに配慮した設計を統合したハイブリッドシステムは、スケーラブルで高性能なテキスト検索のための有望な道筋を示している。