[논문 리뷰] A Parallel Batch-Dynamic Data Structure for the Closest Pair Problem

Yiqiu Wang, Shangdi Yu외 2명|arXiv (Cornell University)|2020. 10. 05.

Algorithms and Data Compression참고 문헌 41인용 수 4

한 줄 요약

이 논문은 거리공간에서 가장 가까운 쌍 문제를 위한 이론적으로 효율적이고 실용적인 병렬 배치 동적 데이터 구조를 제시한다. 새로운 워크 효율적인 병렬 배치 동적 이진 힙과 동적 k-d 트리를 활용하여, 고려 확률로 O(m(1 + log((n + m)/m)))의 예상 워크와 O(log(n + m) log*(n + m))의 디pth를 달성한다. 하이퍼스레딩을 적용한 48개 코어에서 최대 38.57배의 병렬 속도 향상을 기록하였으며, 이는 정적 및 동적 환경에서 병렬 가장 가까운 쌍 알고리즘에 대한 최초의 실험적 평가이다.

ABSTRACT

We propose a theoretically-efficient and practical parallel batch-dynamic data structure for the closest pair problem. Our solution is based on a serial dynamic closest pair data structure by Golin et al., and supports batches of insertions and deletions in parallel. For a data set of size $n$, our data structure supports a batch of insertions or deletions of size $m$ in $O(m(1+\log ((n+m)/m)))$ expected work and $O(\log (n+m)\log^*(n+m))$ depth with high probability, and takes linear space. The key techniques for achieving these bounds are a new work-efficient parallel batch-dynamic binary heap, and careful management of the computation across sets of points to minimize work and depth. We provide an optimized multicore implementation of our data structure using dynamic hash tables, parallel heaps, and dynamic $k$-d trees. Our experiments on a variety of synthetic and real-world data sets show that it achieves a parallel speedup of up to 38.57x (15.10x on average) on 48 cores with hyper-threading. In addition, we also implement and compare four parallel algorithms for static closest pair problem, for which we are not aware of any existing practical implementations. On 48 cores with hyper-threading, the static algorithms achieve up to 51.45x (29.42x on average) speedup, and Rabin's algorithm performs the best on average. Comparing our dynamic algorithm to the fastest static algorithm, we find that it is advantageous to use the dynamic algorithm for batch sizes of up to 20\% of the data set. As far as we know, our work is the first to experimentally evaluate parallel closest pair algorithms, in both the static and the dynamic settings.

연구 동기 및 목표

• 거리공간에서 배치 삽입 및 삭제를 효율적으로 지원하는 병렬 배치 동적 데이터 구조를 설계하는 것.
• 이론적 동적 가장 가까운 쌍 알고리즘과 실용적인 병렬 구현 간의 격차를 메우는 것. 이는 이전에 탐색되지 않은 분야이다.
• 실제 및 합성 데이터 세트에서 정적 및 동적 병렬 가장 가까운 쌍 알고리즘의 성능을 평가하는 것.
• 정적 대비 동적 알고리즘의 성능을 비교하여 동적 업데이트에 최적의 배치 크기를 규명하는 것.

제안 방법

• 새로운 워크 효율적인 병렬 배치 동적 이진 힙을 사용하여 Golin 등이 제안한 순차적 동적 가장 가까운 쌍 알고리즘을 병렬 배치 업데이트를 지원하도록 확장한다.
• 배치 업데이트 중 가장 가까운 쌍 관계를 효율적으로 유지하기 위해 희소 분할 데이터 구조를 사용한다.
• 다중 힙을 하나의 힙으로 통합하여 오버헤드를 줄이고 캐시 성능을 향상시킨다.
• 배치 처리 중 이웃 쿼리 속도를 높이기 위해 동적 k-d 트리를 활용한다.
• 동적 해시 테이블, 병렬 힙, 최적화된 k-d 트리를 사용하여 다중 코어 시스템에서 알고리즘을 구현한다.
• 비교 평가를 위해 네 가지 정적 가장 가까운 쌍 알고리즘—분할정복, Rabin의 랜덤화, 체인, 랜덤화된 인크리멘탈 알고리즘—의 병렬화를 도입한다.

실험 결과

연구 질문

• RQ1 병렬 배치 동적 가장 가까운 쌍 데이터 구조는 현대 다중 코어 시스템에서 이론적 효율성과 실용적 성능을 동시에 달성할 수 있는가?
• RQ2 다양한 배치 크기에서 제안된 동적 알고리즘의 성능은 정적 병렬 알고리즘 대비 어떻게 다른가?
• RQ3 동적 알고리즘이 정적 재계산보다 뛰어나지 않는 최적의 배치 크기는 무엇인가?
• RQ4 실제로 가장 우수한 성능을 보이는 정적 병렬 알고리즘은 무엇이며, 동적 솔루션과 비교해 볼 때 어떻게 다른가?
• RQ5 새로운 병렬 배치 동적 이진 힙을 설계하고 효과적으로 활용하여 동적 가장 가까운 쌍 계산에서 워크와 디프스를 줄일 수 있는가?

주요 결과

• 제안된 병렬 배치 동적 데이터 구조는 하이퍼스레딩을 적용한 48개 코어에서 최대 38.57배의 속도 향상을 기록하였으며, 평균 15.10배의 속도 향상을 기록하였다.
• 48개 코어에서 최대 초당 1.35 × 10^7건의 삽입과 1.06 × 10^7건의 삭제를 처리하는 처리량을 달성하였다.
• 네 가지 정적 병렬 알고리즘 중 Rabin의 랜덤화 알고리즘이 가장 뛰어난 성능을 보였으며, 최대 51.45배의 속도 향상과 평균 29.42배의 속도 향상을 기록하였다.
• 데이터 세트 크기의 20% 이내의 배치 크기에서는 동적 알고리즘이 가장 빠른 정적 알고리즘을 초월하는 성능을 보였다.
• 실제로 O(m(1 + log((n + m)/m)))의 예상 워크와 O(log(n + m) log*(n + m))의 디프스 이론적 한계가 고려 확률로 달성되었다.