[論文レビュー] Probabilistic Threshold Indexing for Uncertain Strings

Sharma V. Thankachan, Manish Patil+2 more|arXiv (Cornell University)|Sep 29, 2015

Data Quality and Management参考文献 4被引用数 5

ひとこと要約

本稿では、任意の確率閾値パrameterに対して、不確実な文字列における効率的な部分文字列検索および文字列リスト検索クエリを実現する、初めての線形空間インデックスフレームワークを提示する。確率閾値インデックスと圧縮サフィックス配列、範囲最小クエリ構造を用いることで、近似的に最適なクエリ時間の実現を達成し、理論的な性能と空間計算量の保証を伴う正確および近似検索を両方サポートする。

ABSTRACT

Strings form a fundamental data type in computer systems. String searching has been extensively studied since the inception of computer science. Increasingly many applications have to deal with imprecise strings or strings with fuzzy information in them. String matching becomes a probabilistic event when a string contains uncertainty, i.e. each position of the string can have different probable characters with associated probability of occurrence for each character. Such uncertain strings are prevalent in various applications such as biological sequence data, event monitoring and automatic ECG annotations. We explore the problem of indexing uncertain strings to support efficient string searching. In this paper we consider two basic problems of string searching, namely substring searching and string listing. In substring searching, the task is to find the occurrences of a deterministic string in an uncertain string. We formulate the string listing problem for uncertain strings, where the objective is to output all the strings from a collection of strings, that contain probable occurrence of a deterministic query string. Indexing solution for both these problems are significantly more challenging for uncertain strings than for deterministic strings. Given a construction time probability value $τ$, our indexes can be constructed in linear space and supports queries in near optimal time for arbitrary values of probability threshold parameter greater than $τ$. To the best of our knowledge, this is the first indexing solution for searching in uncertain strings that achieves strong theoretical bound and supports arbitrary values of probability threshold parameter. We also propose an approximate substring search index that can answer substring search queries with an additive error in optimal time. We conduct experiments to evaluate the performance of our indexes.

研究の動機と目的

• 各文字位置に複数の可能な文字とその確率が関連付けられた不確実な文字列のインデックス化の課題に対処すること。
• 部分文字列検索と不確実な文字列における文字列リスト検索という2つの基本的問題に対する効率的なインデックスソリューションを設計すること。
• 指数的爆発を避けるために、任意の確率閾値τをサポートすること。
• 近似的に最適なクエリ時間と線形空間計算量を達成し、構築およびクエリの性能に関する理論的境界を提供すること。
• さまざまな文字列長、不確実性レベル、閾値パrameterを用いた広範な実験を通じて、提案インデックスの実用的効率を評価すること。

提案手法

• 不確実な文字列を文字レベルでモデル化し、各位置に確率付きの文字の集合を割り当てる。
• 可能な世界の意味論を用いて、関連する確率の積が閾値τを超える決定的文字列を有効なマッチと定義する。
• 閾値τ_minを用いて探索空間を制限し、不確実な文字列から導出される拡張最大要因の連結文字列に圧縮サフィックス配列（CSA）を構築する。
• サフィックス配列上に範囲最小クエリ（RMQ）構造を構築し、部分文字列マッチングのための高速な範囲クエリを可能にする。
• クエリごとに長さmの部分文字列検索をO(m)時間で実行でき、文字列リスト検索も近似的に最適な時間で実行可能。
• 追加誤差を許容する近似バージョンを導入し、最適な性能を維持しつつクエリ時間に多少の誤差を許容する。

実験結果

リサーチクエスチョン

• RQ1 任意の確率閾値τをサポートする不確実な文字列のためのインデックス構造を設計できるか？
• RQ2 閾値τを用いて、関連するマッチを失うことなく、可能な決定的文字列の数をどのように削減できるか？
• RQ3 正確および近似の両方の部分文字列検索をサポートする線形空間インデックスを設計することは可能か？
• RQ4 不確実性レベル（θ）と閾値（τ）の変化が、クエリ時間および構築時間に与える影響は何か？
• RQ5 確率的閾値のもとで、不確実文字列の集合からの文字列リスト検索をサポートする実用的なインデックスを構築できるか？

主な発見

• 提案されたインデックスの構築時間は、不確実文字列長nに対して線形であり、空間計算量はO((1/τ_min)^2 * n)で上限が定められている。
• 部分文字列検索のクエリ時間は、長さmのクエリに対してO(m)であり、任意のτ > τ_minに対して近似的に最適なパフォーマンスを達成している。
• 有効なマッチ数とクエリ長に比例するクエリ時間で、不確実文字列の集合からの文字列リスト検索をサポートしている。
• 実験結果から、構築時間は文字列長nに比例して増加し、不確実性が高いほどわずかに増加しており、これはより多くの順列が発生するためである。
• τが小さくなると有効なマッチが増えるため、クエリ時間は増加し、特に長いクエリパターン（m）に対して最も敏感に反応する。
• 空間使用量は約10.5 * Nワードであり、N = O((1/τ_min)^2 * n)である。圧縮構造および補助配列による実用的オーバーヘッドが含まれる。