[論文レビュー] Good parts first - a new algorithm for approximate search in lexica and string databases

Stefan Gerdjikov, Stoyan Mihov+2 more|arXiv (Cornell University)|Jan 4, 2013

Algorithms and Data Compression参考文献 21被引用数 5

ひとこと要約

本稿では、語彙や文字列データベースにおける近似文字列検索のための新しいアルゴリズムを提案する。この手法は、『良い部分』と呼ばれる正確な部分文字列一致を優先し、徐々に許容誤差を拡大することで拡張する。対称的コンパクト有向無環語彙グラフ（SCDAWG）を用いて両方向の部分文字列アクセスを実現することで、従来の左から右への探索における『壁効果』を回避し、特に長い文字列や高い誤差境界において顕著な高速化を達成する。実験では理論的最小限に近い効率性を示した。

ABSTRACT

We present a new efficient method for approximate search in electronic lexica. Given an input string (the pattern) and a similarity threshold, the algorithm retrieves all entries of the lexicon that are sufficiently similar to the pattern. Search is organized in subsearches that always start with an exact partial match where a substring of the input pattern is aligned with a substring of a lexicon word. Afterwards this partial match is extended stepwise to larger substrings. For aligning further parts of the pattern with corresponding parts of lexicon entries, more errors are tolerated at each subsequent step. For supporting this alignment order, which may start at any part of the pattern, the lexicon is represented as a structure that enables immediate access to any substring of a lexicon word and permits the extension of such substrings in both directions. Experimental evaluations of the approximate search procedure are given that show significant efficiency improvements compared to existing techniques. Since the technique can be used for large error bounds it offers interesting possibilities for approximate search in special collections of "long" strings, such as phrases, sentences, or book ti

研究の動機と目的

• 従来の左から右へのアラインメントにおいて、誤差境界を設けた場合に発生する、試行錯誤的な前処理探索（『壁効果』）を解消すること。
• 特にフレーズ、文、タイトルなどの長い文字列に対して、従来の手法が遅すぎるため、大規模な語彙や文字列データベースにおける効率的な近似検索を可能にすること。
• 任意の部分文字列への即時アクセスと両方向への決定的拡張を可能にするインデックス構造を設計し、柔軟なアラインメント戦略を実現すること。
• 無駄な探索経路を最小限に抑えつつ、有効な一致が見逃されないよう、理論的最小限に近い性能を達成すること。

提案手法

• アルゴリズムはまず、入力パターンの部分文字列のうち、語彙エントリの部分文字列と正確に一致するもの（『良い部分』）を、対称的コンパクト有向無環語彙グラフ（SCDAWG）を用いて特定する。
• 各正確一致は、左および右方向に段階的に拡張され、各拡張段階で許容誤差が増加し、最終的にユーザーが定義した上限bまで到達する。
• SCDAWGにより、両方向への決定的走査と拡張が可能となり、遷移コストがO(1)で、語彙語の任意の部分語（infix）への直接アクセスが可能となる。
• 検索戦略は、正確一致が発生する位置に基づいて動的にアラインメントの出発点を選択し、従来の方法が行う全探索的前処理探索を回避する。
• 小規模な誤差境界では、普遍的レーベンシュタインオートマトンなどの既存のフィルタリング技術と統合することで、さらなる性能向上を図る。
• インデックス構造により、長大な文字列の集合における近似検索が効率的に行えるようになり、探索の初期段階で候補パスの数を早期に削減する。

実験結果

リサーチクエスチョン

• RQ1 正確一致を出発点とする部分文字列ベースの検索戦略が、近似文字列照合における探索空間を顕著に縮小できるか？
• RQ2 『良い部分を最初に』戦略は、従来の左から右へのアラインメントと比較して、速度と完全性の点でどの程度優れているか？
• RQ3 SCDAWGのような両方向インデックス構造は、近似文字列検索における『壁効果』をどの程度緩和できるか？
• RQ4 本手法は、大きな誤差境界や長い文字列（例：文やタイトル）に対しても効率的にスケーリングできるか？
• RQ5 SCDAWGを他のインデックス構造（例：サフィックス配列）と比較した場合、時間的・空間的効率にどのような影響を与えるか？

主な発見

• 提案手法は、従来の左から右への探索や既存の双方向手法と比較して、特に高い誤差境界や長い文字列において顕著な高速化を達成した。
• 距離境界b=2の場合、理論的性能限界に非常に近い結果が得られ、実用的にほぼ最適な効率性を示した。
• LevenshteinオートマトンやBLASTAといった既存手法よりも優れた性能を発揮し、特にBLASTAがすべての有効な一致を取得できないような高誤差境界の状況でも優位であった。
• 実験結果から、書籍のタイトルや文などの長い文字列の集合において、従来手法が遅すぎる状況で劇的な性能向上が確認された。
• SCDAWGの使用により、O(1)の遷移コストで効率的な両方向走査が可能となり、O(log|Σ|/log log|D| + 1)のコストを要する圧縮サフィックス配列ベースの構造を上回った。
• 正確な部分文字列一致を戦略的に活用することで、探索パスの数を著しく削減しながらも、完全性（すべての有効な一致が見逃されない）を維持した。