[論文レビュー] Streaming Algorithms For Computing Edit Distance Without Exploiting Suffix Trees

Diptarka Chakraborty, Elazar Goldenberg+1 more|arXiv (Cornell University)|Jul 13, 2016

Algorithms and Data Compression参考文献 21被引用数 9

ひとこと要約

この論文は、接尾辞木に依存せずに編集距離を計算する2つのストリーミングアルゴリズムを提示している。時間計算量はほぼ最適に近づき、主な貢献は、アルファベットサイズに依存せず、1パスで処理可能な O(n + k³)-time、O(k)-space のアルゴリズムである。これは、編集距離 k ≪ n の場合に実用的で効率的である。

ABSTRACT

The edit distance is a way of quantifying how similar two strings are to one another by counting the minimum number of character insertions, deletions, and substitutions required to transform one string into the other. In this paper we study the computational problem of computing the edit distance between a pair of strings where their distance is bounded by a parameter $k\ll n$. We present two streaming algorithms for computing edit distance: One runs in time $O(n+k^2)$ and the other $n+O(k^3)$. By writing $n+O(k^3)$ we want to emphasize that the number of operations per an input symbol is a small constant. In particular, the running time does not depend on the alphabet size, and the algorithm should be easy to implement. Previously a streaming algorithm with running time $O(n+k^4)$ was given in the paper by the current authors (STOC'16). The best off-line algorithm runs in time $O(n+k^2)$ (Landau et al., 1998) which is known to be optimal under the Strong Exponential Time Hypothesis.

研究の動機と目的

• 編集距離 k が文字列長 n よりもはるかに小さい状況において、効率的でストリーミング処理可能な編集距離計算のニーズに対応すること。
• 特に大きなアルファベットに対して高い定数因子とアルファベットサイズ依存性を示す接尾辞木ベースの手法の課題を克服すること。
• 接尾辞木を避けながら、既存の最良のオフライン時間計算量に匹敵または上回る性能を達成する、実用的で1パスのストリーミングアルゴリズムを設計すること。
• アルゴリズムが実装が簡単であり、入力文字ごとの操作数がアルファベットサイズに依存せず定数であること。

提案手法

• 編集距離行列における動的計画法を用い、一致する文字の連続した対角線スライドを追跡する。
• 成熟した対角線を導入し、4k個の連続一致を超過すると一時的に一貫性を確認し、成熟リストに移行する。
• 活性対角線スライド用のリスト L_i と、長期間にわたり一貫した一致を持つ対角線を格納する成熟リストを維持し、安定領域での計算を削減する。
• 周期性の性質を活用：複数の対角線が成熟している場合、それらの差のGCDを用いて共通周期を計算し、効率的なパターン検出を実現する。
• 対角線 d と高さ h に対して、C(d,h) と D(d,h) の配列を用い、一致数と活性対角線エントリへのポインタをそれぞれ追跡する。
• 成熟しているか、またはアクティブなスライドリスト内にある対角線のみを処理する、独創的な更新メカニズムを適用し、無駄な計算を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 アルファベットサイズに依存せず、時間計算量 O(n + k³)、空間計算量 O(k) のストリーミング処理で編集距離を計算できるか？
• RQ2 近似的に最適な時間計算量を達成しつつ、接尾辞木を避けることは可能か？
• RQ3 一致する部分文字列の周期性をどのように活用して、1文字あたりの処理回数を減らせるか？
• RQ4 1パスのストリーミングアルゴリズムは、理論的にも効率的で、実装面でも実用的・シンプルにできるか？
• RQ5 アルファベットサイズがストリーミング編集距離アルゴリズムの性能に与える影響は何か？その影響を時間計算量から排除できるか？

主な発見

• 提案されたアルゴリズムは O(n + k³) 時間で動作し、O(k) の空間を消費する。1文字あたりの処理回数はアルファベットサイズに依存せず定数である。
• アルゴリズムは接尾辞木を完全に回避しており、その高い定数因子と、大きなアルファベットに対して非線形に増加するコストを排除している。
• 強い指数時間仮説のもとで、既存の最良のオフラインアルゴリズム（O(n + k²)）に匹敵する時間計算量を達成しており、k 要素の差異がある。
• 成熟した対角線と周期性検出の活用により、冗長なチェックをスキップでき、長期間にわたる一致セグメントでの計算量が著しく削減される。
• 本アルゴリズムは、小さな k に対して真に線形時間で動作する最初のアルゴリズムであり、k が小さく n が大きな DNA シーケンス比較などの応用において実用的である。
• 実験的効率は、1文字あたりの処理が小さな定数回で済み、O(k³) 項は主にアクティブな対角線スライドと成熟リストの維持に起因するため、向上が図れる。