[논문 리뷰] Efficient Parallel Output-Sensitive Edit Distance

Xiangyun Ding, Xiaojun Dong외 3명|arXiv (Cornell University)|2023. 01. 01.

Algorithms and Data Compression인용 수 1

한 줄 요약

이 논문은 편집 거리 알고리즘에 대한 최초의 체계적 이론적 및 실용적 연구를 제시한다. 네 가지 새로운 병렬 알고리즘—세 가지는 BFS 기반(접미사 배열 및 두 가지 해시 기반 LCP 데이터 구조를 사용)이고 하나는 출력에 민감한 분할 정복 접근 방식—을 제안하며, 편집 거리 $k$가 작을 경우 이차 이하의 작업량을 달성한다. BFS-Hash 및 BFS-B-Hash 버전은 192개의 하이퍼스레드에서 최대 48배의 성능 향상을 이끌었고, $k < 10^5$ 조건에서 길이 $10^9$인 문자열을 약 10초 내에 처리하여 ParlayLib를 수십 배 이상 뛰어넘는 성능을 보였다.

ABSTRACT

Given two strings $A[1..n]$ and $B[1..m]$, and a set of operations allowed to edit the strings, the edit distance between $A$ and $B$ is the minimum number of operations required to transform $A$ into $B$. Sequentially, a standard Dynamic Programming (DP) algorithm solves edit distance with $Θ(nm)$ cost. In many real-world applications, the strings to be compared are similar and have small edit distances. To achieve highly practical implementations, we focus on output-sensitive parallel edit-distance algorithms, i.e., to achieve asymptotically better cost bounds than the standard $Θ(nm)$ algorithm when the edit distance is small. We study four algorithms in the paper, including three algorithms based on Breadth-First Search (BFS) and one algorithm based on Divide-and-Conquer (DaC). Our BFS-based solution is based on the Landau-Vishkin algorithm. We implement three different data structures for the longest common prefix (LCP) queries needed in the algorithm: the classic solution using parallel suffix array, and two hash-based solutions proposed in this paper. Our DaC-based solution is inspired by the output-insensitive solution proposed by Apostolico et al., and we propose a non-trivial adaption to make it output-sensitive. All our algorithms have good theoretical guarantees, and they achieve different tradeoffs between work (total number of operations), span (longest dependence chain in the computation), and space. We test and compare our algorithms on both synthetic data and real-world data. Our BFS-based algorithms outperform the existing parallel edit-distance implementation in ParlayLib in all test cases. By comparing our algorithms, we also provide a better understanding of the choice of algorithms for different input patterns. We believe that our paper is the first systematic study in the theory and practice of parallel edit distance.

연구 동기 및 목표

• 편집 거리에 대한 이론적 병렬 알고리즘과 실용적 구현 간 격차를 해소하기 위해.
• 편집 거리 $k$가 작을 경우 이차 이하의 작업량을 달성하는 작업 효율성과 확장성, I/O 우수성을 갖춘 스케일러블이고 병렬 알고리즘을 설계하기 위해.
• 합성 및 실제 워크로드에서 BFS와 분할 정복 접근 방식을 포함한 여러 알고리즘적 접근 방식을 평가하고 비교하기 위해.
• 병렬 환경에서 LCP 쿼리에 적합한 데이터 구조(접미사 배열, 해시 기반 방법)에 대한 엔지니어링 통찰을 제공하기 위해.
• 작업 효율성이 병렬 알고리즘 설계에서 핵심적임을 입증하기 위해, 특히 코어 수가 제한된 환경에서 더욱 그렇다.

제안 방법

• 편집 거리 상태의 레벨별 순차적 탐색을 사용해 Landau-Vishkin의 BFS 기반 알고리즘을 병렬 실행에 적합하게 변형한다.
• 접미사 배열을 대체하기 위해 LCP 쿼리에 사용할 수 있는 두 가지 새로운 해시 기반 데이터 구조(BFS-Hash 및 BFS-B-Hash)를 도입하여 공간 효율성과 캐시 우수성을 향상시킨다.
• Apostolico 등이 제안한 출력에 민감하지 않은 분할 정복 알고리즘을 비틀어 출력에 민감하게 만들었으며, $\widetilde{O}(nk)$ 작업량과 다항로그 시간 복잡도를 확보한다.
• BFS-B-Hash에서 블로킹을 적용하여 보조 공간 오버헤드를 입력 크기의 8배에서 입력 크기 이하로 줄였으며, 시간적 손실은 최소한이었다.
• 공유 메모리 병렬 처리에 최적화된 병렬 접두사 테이블 구축 기법을 사용해 LCP 쿼리에 대응한다.
• 합성 및 실제 데이터 세트(DNA, 위키백과, GitHub)를 사용해 네 가지 알고리즘 간의 작업, 스팬, 공간 간의 상호 교환 관계를 평가한다.

실험 결과

연구 질문

• RQ1 출력에 민감한 병렬 편집 거리 알고리즘은 이론적 한계를 넘어서 실질적으로 이차 이하의 작업량과 높은 병렬성을 달성할 수 있는가?
• RQ2 병렬 BFS 기반 편집 거리에서 접미사 배열과 해시 기반 구조 간의 LCP 데이터 구조가 성능과 공간 사용에 어떤 영향을 미치는가?
• RQ3 분할 정복 접근 방식을 이론적 보장과 실용적 성능을 모두 확보하는 출력에 민감하게 만들 수 있는가?
• RQ4 해시 기반 LCP 구조에서 블로킹이 실제 편집 패턴에서 공간 효율성과 런타임에 어떤 영향을 미치는가?
• RQ5 코어 수가 수백 또는 수천 수준으로 제한된 환경에서 작업 효율성과 스팬 간의 상호 교환 관계가 전체 성능에 어떤 영향을 미치는가?

주요 결과

• BFS-Hash 및 BFS-B-Hash 알고리즘은 192개의 하이퍼스레드에서 최대 48배의 성능 향상을 이끌었으며, $k < 10^5$ 조건에서 길이 $10^9$인 문자열을 약 10초 내에 처리했다.
• BFS-Hash는 긴 입력에서 ParlayLib 대비 런타임이 100배 이상 빠르며, ParlayLib는 동일한 시간 내에 입력 길이 $10^6$까지만 처리할 수 있었다.
• BFS-B-Hash는 블로킹을 통해 보조 공간을 입력 크기 이하로 줄였으며, $b$ 값이 1에서 64로 증가함에 따라 런타임은 1.08배에서 1.19배로만 증가했으며, 이는 이론적 $b$ 요인에 비해 매우 낮은 비용이었다.
• 분할 정복 기반 DaC-SD 알고리즘은 $\widetilde{O}(nk)$ 작업량과 다항로그 시간 복잡도를 확보했지만, 작업 비효율성으로 인해 BFS 기반 알고리즘에 뒤지게 되었다.
• 작은 $k$ 값에서는 BFS-B-Hash가 BFS-Hash보다 더 빠르며, 이는 전처리 비용이 낮고 캐시 성능이 더 우수하기 때문이다.
• 본 연구는 작업 효율성이 병렬 설계에서 핵심적임을 확인했다: 높은 병렬성에도 불구하고 과도한 작업량은 더 많은 코어로는 보완되지 않으며, 특히 코어 수가 제한된 환경에서는 더욱 그러하다.