[論文レビュー] Cache-Oblivious Priority Queues with Decrease-Key and Applications to Graph Algorithms

John Iacono, Riko Jacob+1 more|arXiv (Cornell University)|Mar 7, 2019

Distributed systems and fault tolerance被引用数 1

ひとこと要約

本稿では、外部記憶におけるI/O効率を向上させた、Insert、DecreaseKey、ExtractMin、Update操作をサポートするキャッシュオーバーライアス型優先度付きキューを提示する。xボックスとバッファドリポジトリ木を用いたパラメータ化された構造を導入することで、特に単一始点最短経路、DFS、BFSに対して、E/V = Ω(M)のときI/O複雑度O(E/B log(E/V B) E/B)の最適I/Oバウンドを達成する。

ABSTRACT

We present priority queues in the cache-oblivious external memory model with block size $B$ and main memory size $M$ that support on $N$ elements, operation extsc{UPDATE} (combination of extsc{INSERT} and extsc{DECREASEKEY}) in $O \left(\frac{1}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ amortized I/Os and operations extsc{EXTRACT-MIN} and extsc{DELETE} in $O \left(\lceil \frac{\lambda^{\varepsilon}}{B} \log_{\frac{\lambda}{B}} \frac{N}{B} ceil \log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ amortized I/Os, using $O \left(\frac{N}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ blocks, for a user-defined parameter $\lambda \in [2, N ]$ and any real $\varepsilon \in (0,1)$. Our result improves upon previous I/O-efficient cache-oblivious and cache-aware priority queues [Chowdhury and Ramachandran, TALG 2018], [Brodal et al., SWAT 2004], [Kumar and Schwabe, SPDP 1996], [Arge et al., SICOMP 2007], [Fadel et al., TCS 1999]. We also present buffered repository trees that support on a multi-set of $N$ elements, operation extsc{INSERT} in $O \left(\frac{1}{B}\log_{\frac{\lambda}{B}} \frac{N}{B} ight)$ I/Os and operation extsc{EXTRACT} on $K$ extracted elements in $O \left(\frac{\lambda^{\varepsilon}}{B} \log_{\frac{\lambda}{B}} \frac{N}{B} + \frac{K}{B} ight)$ amortized I/Os, using $O \left(\frac{N}{B} ight)$ blocks, improving previous cache-aware and cache-oblivious results [Arge et al., SICOMP '07], [Buchsbaum et al., SODA '00]. In the cache-oblivious model, for $\lambda = O \left(E/V ight)$, we achieve $O \left(\frac{E}{B}\log_{\frac{E}{V B}} \frac{E}{B} ight)$ I/Os for single-source shortest paths, depth-first search and breadth-first search algorithms on massive directed dense graphs $(V,E)$. Our algorithms are I/O-optimal for $E/V = \Omega (M)$ (and in the cache-aware setting for $\lambda = O(M)$).

研究の動機と目的

• 外部記憶において、DecreaseKeyおよびUpdate操作を効率的にサポートするキャッシュオーバーライアス型優先度付きキューの設計。
• キャッシュオーバーライアスモデルにおける、SSSP、DFS、BFSなどの基本的グラフアルゴリズムのI/O複雑度の改善。
• E/V = Ω(M)である密なグラフに対して最適I/Oバウンドを達成すること、パラメータλ = O(E/V)を活用すること。
• xボックスとバッファドリポジトリ木（BRT）の使用を拡張し、キャッシュオーバーライアス環境下で効率的かつパラメータ化可能なI/O操作を可能にすること。

提案手法

• サイズパラメータλ ∈ [2, N]およびα ∈ (0, 1)を用いた、パラメータ化されたキャッシュオーバーライアス型優先度付きキューを導入。
• xボックス内でのバッチ挿入と分数カスケーディングを採用し、O(1/B)の平均I/Oで効率的な探索と抽出を実現。
• サイズが増加するxボックスの階層構造を用いて、Insert操作をO(1/B logλB (N/B))の平均I/Oで実現。
• xボックスを用いたバッファドリポジトリ木（BRT）を採用し、Insert操作をO(1/B logλB (N/B))、Extract操作をO(λα/(1+α)/B logλB (N/B) + K/B)の平均I/Oで実現。
• 密なグラフ処理の最適化のため、λ = O(E/V)を設定。
• 既知の外部記憶グラフアルゴリズム（例：VitterのSSSP、BuchsbaumのDFS/BFS）とこれらのデータ構造を組み合わせることで、エンドツーエンドのI/Oバウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 キャッシュオーバーライアス型優先度付きキューは、最適なベース-(M/B)対数的バウンドに一致するI/O複雑度で、DecreaseKeyおよびUpdate操作をサポートできるか？
• RQ2 すべての標準操作（特にDecreaseKeyを含む）をサポートするキャッシュオーバーライアス型優先度付きキューの最適I/O複雑度は何か？
• RQ3 xボックスを用いて、効率的かつパラメータ化可能なキャッシュオーバーライアス型データ構造（優先度付きキューおよびBRT）を設計できるか？
• RQ4 提案されたデータ構造は、大規模な密なグラフにおけるグラフアルゴリズムのI/O効率をどのように向上させるか？
• RQ5 どのようなパラメータ設定（例：λ = O(E/V)）が、キャッシュオーバーライアスモデルにおけるSSSP、DFS、BFSのI/O最適性を達成するか？

主な発見

• 提案されたキャッシュオーバーライアス型優先度付きキューは、UpdateをO(1/B logλB (N/B))の平均I/O、ExtractMinをO(⌈λε/B logλB (N/B)⌉ logλB (N/B))の平均I/Oで実行可能であり、O(N/B logλB (N/B))ブロックを用いる。
• λ = O(M)の場合、I/O複雑度は最適なO(1/B logM/B (N/B))の平均I/Oにまで低下し、最高のキャッシュアウェアバウンドと一致する。
• バッファドリポジトリ木は、InsertをO(1/B logλB (N/B))、ExtractをO(λα/(1+α)/B logλB (N/B) + K/B)の平均I/Oで実行可能。
• λ = O(E/V)の場合、SSSP、DFS、BFSアルゴリズムのI/O複雑度はO(E/B log(E/V B) E/B)にまで低下し、E/V = Ω(M)のときI/O最適である。
• 従来のキャッシュオーバーライアス手法に比べ、DecreaseKeyのサポートがなく、O(1/B log²(N/B))のI/Oを要する手法よりも優れている。
• このフレームワークにより、キャッシュオーバーライアスモデル下で密なグラフ処理においてI/O最適性を達成でき、外部記憶グラフ処理のための効率的な優先度付きキューとBRTの統合が可能になった。