[논문 리뷰] Cache-Oblivious Priority Queues with Decrease-Key and Applications to Graph Algorithms

John Iacono, Riko Jacob외 1명|arXiv (Cornell University)|2019. 03. 07.

Distributed systems and fault tolerance인용 수 1

한 줄 요약

이 논문은 외부 메모리에서 Insert, DecreaseKey, ExtractMin, Update 연산을 지원하는 캐시-무시 우선순위 큐를 제안하며, 이는 거대한 밀도 높은 그래프에서 I/O 효율성을 향상시킨다. x-박스와 버퍼링된 저장소 트리로 구성된 매개변수화된 구조를 도입함으로써, 특히 단일 소스 최단 경로, DFS, BFS에 대해 그래프 알고리즘의 최적 I/O 바운드를 달성한다. E/V = Ω(M)일 때 I/O 복잡도는 O(E/B log(E/V B) E/B)이다.

ABSTRACT

We present priority queues in the cache-oblivious external memory model with block size $B$ and main memory size $M$ that support on $N$ elements, operation extsc{UPDATE} (combination of extsc{INSERT} and extsc{DECREASEKEY}) in $O \left(\frac{1}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ amortized I/Os and operations extsc{EXTRACT-MIN} and extsc{DELETE} in $O \left(\lceil \frac{\lambda^{\varepsilon}}{B} \log_{\frac{\lambda}{B}} \frac{N}{B} ceil \log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ amortized I/Os, using $O \left(\frac{N}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ blocks, for a user-defined parameter $\lambda \in [2, N ]$ and any real $\varepsilon \in (0,1)$. Our result improves upon previous I/O-efficient cache-oblivious and cache-aware priority queues [Chowdhury and Ramachandran, TALG 2018], [Brodal et al., SWAT 2004], [Kumar and Schwabe, SPDP 1996], [Arge et al., SICOMP 2007], [Fadel et al., TCS 1999]. We also present buffered repository trees that support on a multi-set of $N$ elements, operation extsc{INSERT} in $O \left(\frac{1}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ I/Os and operation extsc{EXTRACT} on $K$ extracted elements in $O \left(\frac{\lambda^{\varepsilon}}{B} \log_{\frac{\lambda}{B}} \frac{N}{B} + \frac{K}{B} ight)$ amortized I/Os, using $O \left(\frac{N}{B} ight)$ blocks, improving previous cache-aware and cache-oblivious results [Arge et al., SICOMP '07], [Buchsbaum et al., SODA '00]. In the cache-oblivious model, for $\lambda = O \left(E/V ight)$, we achieve $O \left(\frac{E}{B}\log_{\frac{E}{V B}} \frac{E}{B} ight)$ I/Os for single-source shortest paths, depth-first search and breadth-first search algorithms on massive directed dense graphs $(V,E)$. Our algorithms are I/O-optimal for $E/V = \Omega (M)$ (and in the cache-aware setting for $\lambda = O(M)$).

연구 동기 및 목표

• 외부 메모리에서 DecreaseKey 및 Update 연산을 효율적으로 지원하는 캐시-무시 우선순위 큐를 설계하기.
• 캐시-무시 모델에서 SSSP, DFS, BFS와 같은 기본 그래프 알고리즘의 I/O 복잡도를 향상시키기.
• E/V = Ω(M)인 밀도 높은 그래프에서 최적의 I/O 바운드를 달성하기 위해 λ = O(E/V) 매개변수를 활용하기.
• x-박스와 버퍼링된 저장소 트리를 활용하여 캐시-무시 환경에서 효율적이고 매개변수화된 I/O 연산을 가능하게 하기.

제안 방법

• 크기 매개변수 λ ∈ [2, N] 및 α ∈ (0, 1)를 사용하는 x-박스 기반의 매개변수화된 캐시-무시 우선순위 큐를 도입한다.
• x-박스 내에서 배치 삽입과 분수 캐스케이딩을 활용하여 O(1/B)의 평균 I/O로 효율적인 검색과 추출을 지원한다.
• 크기가 점차 증가하는 x-박스의 계층적 구조를 사용하여 Insert 연산을 O(1/B logλB (N/B))의 평균 I/O로 지원한다.
• x-박스를 활용한 버퍼링된 저장소 트리(BRTs)를 적용하여 Insert 연산은 O(1/B logλB (N/B))의 평균 I/O, Extract 연산은 O(λα/(1+α)/B logλB (N/B) + K/B)의 평균 I/O로 지원한다.
• 밀도 높은 그래프에서 성능을 최적화하기 위해 λ = O(E/V)로 설정한다.
• 기존의 외부 메모리 기반 그래프 알고리즘(Vitter의 SSSP, Buchsbaum의 DFS/BFS 등)과 데이터 구조를 결합하여 종단 간 I/O 바운드를 유도한다.

실험 결과

연구 질문

• RQ1 캐시-무시 우선순위 큐가 최적의 기저-(M/B) 로그 바운드와 일치하는 I/O 복잡도로 DecreaseKey 및 Update 연산을 지원할 수 있는가?
• RQ2 모든 표준 연산(DecreaseKey 포함)을 지원하는 캐시-무시 우선순위 큐의 최적 I/O 복잡도는 무엇인가?
• RQ3 x-박스를 활용하여 효율적이고 매개변수화된 캐시-무시 데이터 구조를 우선순위 큐 및 BRT에 설계할 수 있는가?
• RQ4 제안된 데이터 구조는 거대한 밀도 높은 그래프에서 그래프 알고리즘의 I/O 효율성을 어떻게 향상시키는가?
• RQ5 SSSP, DFS, BFS에서 I/O 최적성을 달성하기 위한 매개변수 설정(예: λ = O(E/V))은 무엇인가?

주요 결과

• 제안된 캐시-무시 우선순위 큐는 O(1/B logλB (N/B))의 평균 I/O로 Update를 지원하고, O(⌈λε/B logλB (N/B)⌉ logλB (N/B))의 평균 I/O로 ExtractMin을 지원하며, 이는 O(N/B logλB (N/B))개의 블록을 사용한다.
• λ = O(M)일 경우 I/O 복잡도는 최적의 O(1/B logM/B (N/B))의 평균 I/O로 감소하며, 이는 최고의 캐시-의식적 바운드와 일치한다.
• 버퍼링된 저장소 트리는 Insert 연산을 O(1/B logλB (N/B))의 평균 I/O로, Extract 연산을 O(λα/(1+α)/B logλB (N/B) + K/B)의 평균 I/O로 지원한다.
• λ = O(E/V)일 경우 SSSP, DFS, BFS 알고리즘은 I/O 복잡도 O(E/B log(E/V B) E/B)를 달성하며, 이는 E/V = Ω(M)일 때 I/O 최적이다.
• 이전의 캐시-무시 접근 방식에 비해 감소키 지원이 없거나 O(1/B log²(N/B))의 I/O를 유발하는 점을 개선한다.
• 이 프레임워크는 캐시-무시 모델에서 밀도 높은 그래프에 대해 I/O 최적성을 달성하며, 외부 메모리 기반 그래프 처리에 효율적인 우선순위 큐와 BRT를 통합한다.