[論文レビュー] Efficient Parallel Output-Sensitive Edit Distance

Xiangyun Ding, Xiaojun Dong+3 more|arXiv (Cornell University)|Jan 1, 2023

Algorithms and Data Compression被引用数 1

ひとこと要約

本稿は、並列かつ出力に依存する編集距離アルゴリズムの、初めての体系的理論的・実用的分析を提示する。3つのBFSに基づく新アルゴリズム（後継配列と2種類のハッシュベースLCPデータ構造を用いる）と1つの出力に依存する分割統治的手法を提案し、編集距離 $k$ が小さい場合に準二次的作業量を達成する。BFS-HashおよびBFS-B-Hashのバリアントは、192本のハイパースレッドで最大48倍の高速化を達成し、$10^9$長の文字列を $k < 10^5$ の条件下で約10秒で処理する。ParlayLibをはるかに上回る性能を発揮する。

ABSTRACT

Given two strings $A[1..n]$ and $B[1..m]$, and a set of operations allowed to edit the strings, the edit distance between $A$ and $B$ is the minimum number of operations required to transform $A$ into $B$. Sequentially, a standard Dynamic Programming (DP) algorithm solves edit distance with $Θ(nm)$ cost. In many real-world applications, the strings to be compared are similar and have small edit distances. To achieve highly practical implementations, we focus on output-sensitive parallel edit-distance algorithms, i.e., to achieve asymptotically better cost bounds than the standard $Θ(nm)$ algorithm when the edit distance is small. We study four algorithms in the paper, including three algorithms based on Breadth-First Search (BFS) and one algorithm based on Divide-and-Conquer (DaC). Our BFS-based solution is based on the Landau-Vishkin algorithm. We implement three different data structures for the longest common prefix (LCP) queries needed in the algorithm: the classic solution using parallel suffix array, and two hash-based solutions proposed in this paper. Our DaC-based solution is inspired by the output-insensitive solution proposed by Apostolico et al., and we propose a non-trivial adaption to make it output-sensitive. All our algorithms have good theoretical guarantees, and they achieve different tradeoffs between work (total number of operations), span (longest dependence chain in the computation), and space. We test and compare our algorithms on both synthetic data and real-world data. Our BFS-based algorithms outperform the existing parallel edit-distance implementation in ParlayLib in all test cases. By comparing our algorithms, we also provide a better understanding of the choice of algorithms for different input patterns. We believe that our paper is the first systematic study in the theory and practice of parallel edit distance.

研究の動機と目的

• 編集距離における理論的並列アルゴリズムと実装の間のギャップを埋めること。
• 編集距離 $k$ が小さい場合に準二次的作業量を達成する、作業効率的でスケーラブルかつI/Oに優れた並列アルゴリズムを設計すること。
• 合成および実世界のワークロードにおいて、BFSおよび分割統治の複数のアルゴリズム的アプローチを評価・比較すること。
• 並列環境におけるLCPクエリのデータ構造（後継配列、ハッシュベース手法）に関するエンジニアリング的知見を提供すること。
• 作業効率が、コア数が限られている場合に特に重要であることを示すこと。

提案手法

• 編集距離状態のレベルごとの走査を用いて、Landau-VishkinのBFSベースのアルゴリズムを並列実行可能に変更する。
• LCPクエリのための2つの新規ハッシュベースデータ構造（BFS-HashおよびBFS-B-Hash）を導入し、後継配列の代わりに使用することで、メモリ効率とキャッシュ効率を向上させる。
• Apostolicoらの出力に依存しない分割統治アルゴリズムを非自明に変更し、出力に依存する形にし、$\widetilde{O}(nk)$の作業量と多対数的スパンを達成する。
• BFS-B-Hashにおけるブロッキングを採用し、補助メモリのオーバーヘッドを入力サイズの8倍から入力サイズ未満に削減するが、時間的ペナルティは最小限に抑える。
• 共有メモリ並列処理に最適化された、並列プレフィックステーブル構築法を用いてLCPクエリを実行する。
• 合成および実世界のデータセット（DNA、Wikipedia、GitHub）を用いて、4つのアルゴリズムの作業量、スパン、メモリ使用量のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 出力に依存する並列編集距離アルゴリズムは、理論的境界を上回る実用的性能を達成できるか？特に、準二次的作業量と高い並列性を実現できるか？
• RQ2 並列BFSベース編集距離において、LCPデータ構造（後継配列対ハッシュベース）の選択が性能とメモリ使用量に与える影響は何か？
• RQ3 分割統治的手法を出力に依存する形に改良することで、理論的保証と実用的性能の両方を達成できるか？
• RQ4 ハッシュベースLCP構造におけるブロッキングの影響は、実世界の編集パターンにおいて、メモリ効率と実行時間にどのように現れるか？
• RQ5 コア数が数百～数千程度に制限される状況において、作業効率とスパンのトレードオフが全体の性能に与える影響は何か？

主な発見

• BFS-HashおよびBFS-B-Hashアルゴリズムは、192本のハイパースレッドで最大48倍の高速化を達成し、$10^9$長の文字列を $k < 10^5$ の条件下で約10秒で処理する。
• BFS-Hashは、大規模な入力においてParlayLibを100倍以上上回る実行時間性能を発揮し、ParlayLibは同時間内に最大 $10^6$ 長の入力しか処理できない。
• BFS-B-Hashはブロッキングを用いることで、補助メモリを入力サイズ未満に抑えるが、$b=1$から$b=64$に変更した際の実行時間は1.08倍から1.19倍にしか増加しない。理論的$b$要因を考慮しても、時間的ペナルティは最小限である。
• 分割統治ベースのDaC-SDアルゴリズムは $\widetilde{O}(nk)$ の作業量と多対数的スパンを達成するが、作業非効率のためBFSバリアントに劣る。
• $k$ が小さい場合には、BFS-B-HashがBFS-Hashよりも高速である。これは、前処理コストが低く、キャッシュ効率が良いからである。
• 本研究は、作業効率が並列アルゴリズム設計において極めて重要であることを確認した。コア数が限られている状況では、高い並列性があっても、過剰な作業量はより多くのコアでも補えず、特にそのような状況では作業効率が決定的である。