[論文レビュー] Edit Distance: Sketching, Streaming and Document Exchange

Djamal Belazzougui, Qin Zhang|arXiv (Cornell University)|Jul 14, 2016

Complexity and Algorithms in Graphs参考文献 15被引用数 11

ひとこと要約

本論文は、編集距離に対して、通信量と計算量がすべてpoly(K log n)である、初めての効率的なスケッチ、ストリーミング、ドキュメント交換プロトコルを提示する。近線形時間での復号を達成する。O(K⁸ log⁵n)ビットを用いて、正確な編集距離計算と編集操作の再構成が可能な、新しいアルゴリズムを導入。このアルゴリズムは、特定の条件下で情報理論的下界と一致する。

ABSTRACT

We show that in the document exchange problem, where Alice holds $x \in \{0,1\}^n$ and Bob holds $y \in \{0,1\}^n$, Alice can send Bob a message of size $O(K(\log^2 K+\log n))$ bits such that Bob can recover $x$ using the message and his input $y$ if the edit distance between $x$ and $y$ is no more than $K$, and output "error" otherwise. Both the encoding and decoding can be done in time $ ilde{O}(n+\mathsf{poly}(K))$. This result significantly improves the previous communication bounds under polynomial encoding/decoding time. We also show that in the referee model, where Alice and Bob hold $x$ and $y$ respectively, they can compute sketches of $x$ and $y$ of sizes $\mathsf{poly}(K \log n)$ bits (the encoding), and send to the referee, who can then compute the edit distance between $x$ and $y$ together with all the edit operations if the edit distance is no more than $K$, and output "error" otherwise (the decoding). To the best of our knowledge, this is the first result for sketching edit distance using $\mathsf{poly}(K \log n)$ bits. Moreover, the encoding phase of our sketching algorithm can be performed by scanning the input string in one pass. Thus our sketching algorithm also implies the first streaming algorithm for computing edit distance and all the edits exactly using $\mathsf{poly}(K \log n)$ bits of space.

研究の動機と目的

• 通信量、スケッチサイズ、メモリ容量が限られた環境において、編集距離がKに制限される場合の編集距離とすべての編集操作を効率的に計算することに挑戦する。
• 近線形時間でのエンコーディング/デコーディングを維持しながら、通信コストを最小限に抑えるドキュメント交換プロトコルを設計する。
• O(K⁸ log⁵n)ビットのpoly(K log n)サイズを用いる、編集距離のための初めてのスケッチアルゴリズムを構築し、レフェリー・モデルにおいて正確な編集距離と操作の計算を可能にする。
• O(K⁸ log⁵n)ビットのメモリを用いて、1パスで編集距離と編集操作を計算するストリーミングアルゴリズムを構築する。
• 従来の手法の限界を克服し、バイオインフォマティクスやデータ同期の応用において極めて重要な小距離領域において、両方の効率性と正確性を達成する。

提案手法

• K+1本の対角線に沿ってスコアと境界フラグを追跡することで、空間効率的な方法で編集距離計算をシミュレートする、対角ベースの動的計画法を用いる。
• ローリングハッシュ関数とCGK埋め込みを適用し、文字列ブロックのコンact表現を維持することで、ストリーミングおよびスケッチを可能にする。
• 接尾辞木を用いて対角線間で最長共通接頭辞の情報を保持し、対角線処理中のランの延長をガイドするためのO(1)時間クエリを実現する。
• 左、右、共通接頭辞の近傍から得られる候補延長ポイントを組み合わせ、各対角線における到達可能な最大セルを決定するための「最大値を取る」戦略を用いる。
• 冗長符号化とエラー訂正技術を用いてドキュメント交換の正しさを保証し、ボブがメッセージと自身の入力を用いて元の文字列を再構成できるようにする。
• 共通部分文字列の開始位置と終了位置を記録することで、編集操作の完全なシーケンスを再構成できるようにアルゴリズムを変更し、再構成フェーズにO(K²)の追加メモリを要する。

実験結果

リサーチクエスチョン

• RQ1 通信コストがO(K log n)である一方で、近線形時間の複雑性を維持できるドキュメント交換が可能か？
• RQ2 レフェリー・モデルで編集距離と操作の正確な計算を可能にする、サイズがpoly(K log n)のスケッチを構築することは可能か？
• RQ3 1パスで編集距離とすべての編集操作を計算するストリーミングアルゴリズムが、poly(K log n)のメモリと近線形時間で実現可能か？
• RQ4 編集距離のスケッチサイズにおけるKとlog nの最適な多項式依存関係は何か？
• RQ5 確率的スケッチおよびドキュメント交換プロトコルを決定的誤り訂正符号に変換できるか、すなわち編集距離のための決定的符号を得られるか？

主な発見

• ドキュメント交換プロトコルは、通信コストがO(K(log²K + log n))ビットである。これは、log K = O(√log n)のとき、情報理論的下界Ω(K log n)と一致する。
• O(K⁸ log⁵n)ビットを用いる、編集距離のための初めてのスケッチアルゴリズムが提案された。これは、正確な計算を達成するpoly(K log n)サイズのものとして最初である。
• このスケッチアルゴリズムは1パスストリーミングエンコーディングをサポートし、O(K⁸ log⁵n)ビットのメモリを用いて正確な編集距離計算を実現する最初のストリーミングアルゴリズムを可能にする。
• エンコーディングおよびデコーディングにÕ(n + poly(K))時間で実行され、正確性を維持しながら近線形時間複雑性を達成する。
• 共通部分文字列セグメントを追跡することで、完全な編集シーケンスの再構成をサポートし、再構成フェーズにO(K²)の追加メモリを要する。
• このアプローチは小距離編集に対して頑健であり、データベースにおける文字列類似度ジョインなどの応用における効率的で並列化可能な前処理を可能にする。