[論文レビュー] An Empirical Study of Cache-Oblivious Priority Queues and their Application to the Shortest Path Problem

Benjamin Sach, Raphaël Clifford|ArXiv.org|Feb 7, 2008

Complexity and Algorithms in Graphs参考文献 18被引用数 5

ひとこと要約

本稿は、メインメモリに収まらない大規模なグラフに対して、Dijkstraの最短経路アルゴリズムに適用する際のキャッシュオーバーオールス・プライオリティキュー（特にファンネルヒープとバケットヒープ）の性能を評価している。外部記憶装置にデータをスワップする状況では、標準的なバイナリヒープと比較して顕著な高速化（最大で桁違いの速度向上）を達成しているが、実世界のグラフでは隣接リストへのアクセスコストが高いため、性能向上の効果は減少する。

ABSTRACT

In recent years the Cache-Oblivious model of external memory computation has provided an attractive theoretical basis for the analysis of algorithms on massive datasets. Much progress has been made in discovering algorithms that are asymptotically optimal or near optimal. However, to date there are still relatively few successful experimental studies. In this paper we compare two different Cache-Oblivious priority queues based on the Funnel and Bucket Heap and apply them to the single source shortest path problem on graphs with positive edge weights. Our results show that when RAM is limited and data is swapping to external storage, the Cache-Oblivious priority queues achieve orders of magnitude speedups over standard internal memory techniques. However, for the single source shortest path problem both on simulated and real world graph data, these speedups are markedly lower due to the time required to access the graph adjacency list itself.

研究の動機と目的

• メインメモリに収まらない外部記憶環境におけるキャッシュオーバーオールス・プライオリティキューの実験的性能を評価すること。
• Dijkstraの最短経路アルゴリズムの文脈において、キャッシュオーバーオールス・プライオリティキューの2つの設計（ファンネルヒープとバケットヒープ）を標準バイナリヒープと比較すること。
• 特にキャッシュオーバーオールス・データ構造とグラフデータアクセスパターンのトレードオフを含む、外部記憶I/Oがアルゴリズム性能に与える影響を調査すること。
• 実世界のグラフのスパarsityとメモリサイズの変化が、これらのプライオリティキューの相対的性能に与える影響を評価すること。

提案手法

• 挿入、delete-min、decrease-keyの各操作について、最適または近似的に最適なI/O複雑性を達成するキャッシュオーバーオールス・プライオリティキューとしてのファンネルヒープとバケットヒープを実装した。
• DIMACSチャレンジから得た実世界の道路網グラフと、合成的 Erdős–Rényi ランダムグラフの両方を対象に、Dijkstraの単一始点最短経路アルゴリズムにこれらのデータ構造を適用した。
• 外部記憶の挙動をシミュレートし、I/O操作数と実行時間を測定するためにSTXXLライブラリを用いた。
• メモリ階層の影響を分離するために、問題サイズ（最大600万頂点）と内部メモリサイズ（最大1024 MB）を変化させた実験を実施した。
• 実行時間とI/O待機時間の割合を測定し、外部記憶アクセスの影響を定量化した。
• ファンネルヒープにネイティブなdecrease-key操作が存在しないため、Dijkstraのアルゴリズムを変更し、ヒープサイズをO(V)からO(E)に拡大した。

実験結果

リサーチクエスチョン

• RQ1 外部記憶環境において、キャッシュオーバーオールス・プライオリティキュー（ファンネルヒープやバケットヒープ）は、バイナリヒープと比較して最短経路問題においてどの程度の性能を示すか？
• RQ2 メインメモリに収まらない大規模なグラフを処理する際、キャッシュオーバーオールス・データ構造がI/Oオーバーヘッドをどの程度低減できるか？
• RQ3 理論的I/O複雑性が優れているにもかかわらず、実際の実装ではなぜ性能向上の効果が薄れるのか、特に実世界のグラフにおいてはなぜか？
• RQ4 実世界のグラフのスパarsityは、合成的グラフと比較してキャッシュオーバーオールス・プライオリティキューの相対的性能にどのような影響を与えるか？
• RQ5 これらのデータ構造の性能は、内部メモリサイズの変化に対してどの程度感度を示すか？

主な発見

• 小規模な問題サイズでは、より複雑なデータ構造に起因する高い定数因子のオーバーヘッドのため、バイナリヒープが両方のキャッシュオーバーオールス構造を上回った。
• 16 MBのRAMと120万要素の状況では、バイナリヒープは4時間以上（99％がI/O待機）を要したが、ファンネルヒープとバケットヒープはそれぞれ4分未塔と10分未塔で完了した。
• 約100万頂点のランダムグラフでは、バイナリヒープの実行時間は約5.8倍に増加した一方、ファンネルヒープとバケットヒープははるかに良好なスケーリングを示した。
• 実世界のスパースな道路網グラフでは、ファンネルヒープがバイナリヒープおよびバケットヒープを上回り、O(E)要素格納によるオーバーヘッドの低減が主な要因であった。
• 2 MBのメモリで動作するファンネルヒープが、1024 MBのメモリを搭載したバケットヒープを上回った。これは、強いメモリ階層効率を示している。
• より大きなグラフでは、ファンネルヒープのO(E)ヒープサイズがI/Oコストを増加させ、理論的I/O複雑性の優位性にもかかわらず、バケットヒープとの性能差が縮まった。