[論文レビュー] Spaces, Trees and Colors: The Algorithmic Landscape of Document Retrieval on Sequences

Gonzalo Navarro|arXiv (Cornell University)|Apr 22, 2013

Algorithms and Data Compression被引用数 15

ひとこと要約

本稿では、生物学情報学、化学情報学、マルチメディアなど、従来のインverted indexをはるかに超える複雑なクエリを扱える一般のシーケンスにおけるドキュメント検索のための包括的なアルゴリズムフレームワークを提示する。圧縮サフィックス配列とウェーブレットツリーを活用することで、ドキュメントリスト作成、top-k検索、カラーレンジクエリなどの問題において、最適またはほぼ最適な時間・空間計算量を達成する。

ABSTRACT

Document retrieval is one of the best established information retrieval activities since the sixties, pervading all search engines. Its aim is to obtain, from a collection of text documents, those most relevant to a pattern query. Current technology is mostly oriented to "natural language" text collections, where inverted indices are the preferred solution. As successful as this paradigm has been, it fails to properly handle some East Asian languages and other scenarios where the "natural language" assumptions do not hold. In this survey we cover the recent research in extending the document retrieval techniques to a broader class of sequence collections, which has applications bioinformatics, data and Web mining, chemoinformatics, software engineering, multimedia information retrieval, and many others. We focus on the algorithmic aspects of the techniques, uncovering a rich world of relations between document retrieval challenges and fundamental problems on trees, strings, range queries, discrete geometry, and others.

研究の動機と目的

• 自然言語テキストにとどまらず、DNAやソフトウェアコード、マルチメディアメタデータなどの一般のシーケンスコレクションに対してもドキュメント検索技術を拡張すること。
• 自然言語でないデータやフレーズ検索、近似一致、カラーレンジクエリのような複雑なクエリを処理できないインバーテッドインデックスの限界を克服すること。
• ドキュメント検索問題を、文字列アルゴリズム、木構造、レンジクエリの根本的アルゴリズム的課題と統合すること。
• 現代の圧縮データ構造における時間効率と空間コンパクト性の間のトレードオフを特定・分析すること。
• 従来のインバーテッドインデックスを凌駕する表現力とクエリの柔軟性を備えた次世代検索システムの基盤を提案すること。

提案手法

• ドキュメントコレクションを空間的に効率的に表現するとともに、効率的なクエリを可能にするために、圧縮サフィックス配列（CSA）とウェーブレットツリーをコアデータ構造として活用する。
• ドキュメント検索を、各ドキュメントを色として扱い、シーケンス内の位置を関連するドキュメント識別子とともにインデックス化するカラーレンジクエリ問題としてモデル化する。
• 圧縮可能なデータに対しては、空間使用量を1文字あたり最低12ビット（bpc）まで削減する高度なデータ圧縮技術を適用する。
• ウェーブレットツリーとシュニッティデータ構造を用いて時間-空間トレードオフを導入し、サブ線形の空間オーバーヘッドで多項式対数時間のクエリ時間を達成する。
• ドキュメント頻度、リスト作成、top-k検索の高速アクセスを実現するために、ドキュメント配列とサフィックス配列を活用する。
• ベースラインとして逆文書頻度（idf）と語彙頻度（tf）の重み付けモデルを採用し、シーケンスレベルのクエリをサポートするように拡張する。

実験結果

リサーチクエスチョン

• RQ1 ドキュメント検索は、DNA やソフトウェアコードなどの任意のシーケンスコレクションに一般化可能か？
• RQ2 ドキュメントリスト作成や top-k 検索といった基本的なドキュメント検索操作における最適な時間・空間計算量は何か？
• RQ3 ウェーブレットツリー や 圧縮サフィックス配列 といった圧縮データ構造は、インバーテッドインデックスと比較して、複雑なクエリをどのように処理するか？
• RQ4 空間最適なデータ構造は、実世界のドキュメント検索ワークロードにおいて、実用的に効率的に行える範囲はどの程度か？
• RQ5 シーケンスベースのドキュメント検索において、クエリ時間と空間使用量の間には、根本的なアルゴリズム的トレードオフが存在するか？

主な発見

• 本稿では、ドキュメントリスト作成や top-k 検索を含む、すべての主要なドキュメント検索問題において、最適またはほぼ最適な時間・空間計算量を達成している。
• 空間最適な解決策では、CSA に加えて $ o(n) $ ビットの追加領域で十分であり、クエリ時間は $ ext{polylog}(n) $ に抑えられ、空間使用量が顕著に削減される。
• 圧縮可能なコレクションでは、最も空間効率の良い解決策が1文字あたりたった12ビット（bpc）で実現可能であり、それでもクエリ処理が数十ミリ秒で可能である。
• 最も空間を要する実装では最大26 bpc を使用し、数ミリ秒でクエリに応答するため、実用的な妥当性が裏付けられている。
• 空間効率の良い解決策では、top-k クエリが $ k $–$ 4k $ マイクロ秒で処理可能であり、インタラクティブ検索において優れたパフォーマンスを示している。
• 理論的結果から、サフィックス配列ベースのシステムが、フレーズ検索、近似一致、オートコンプリートなどの複雑なクエリにおいて、インバーテッドインデックスを上回ることが示された。