[論文レビュー] Doing More for Less -- Cache-Aware Parallel Contraction Hierarchies Preprocessing

Dennis Luxen, Dennis Schieferdecker|arXiv (Cornell University)|Aug 13, 2012

Graph Theory and Algorithms参考文献 5被引用数 3

ひとこと要約

この論文は、表計算ハッシュを用いて最小限のコアあたりメモリオーバーヘッドで高性能を達成する、キャッシュに配慮した共有メモリ並列前処理アルゴリズムを、収縮ハイアーチチャル（CH）のために提案する。最適化されたデータ構造を通じたキャッシュローカリティの活用により、前処理時間を顕著に短縮し、PRAM最適化理論的設計を最大25%高速に達成する。1コアあたり384 KBのメモリのみを消費するため、惑星規模の道路ネットワークに適している。

ABSTRACT

Contraction Hierarchies is a successful speedup-technique to Dijkstra's seminal shortest path algorithm that has a convenient trade-off between preprocessing and query times. We investigate a shared-memory parallel implementation that uses $O(n+m)$ space for storing the graph and O(1) space for each core during preprocessing. The presented data structures and algorithms consequently exploits cache locality and thus exhibit competitive preprocessing times. The presented implementation is especially suitable for preprocessing graphs of planet-wide scale in practice. Also, our experiments show that optimal data structures in the PRAM model can be beaten in practice by exploiting memory cache hierarchies.

研究の動機と目的

• コアあたりのメモリオーバーヘッドを最小限に抑えつつ、大規模道路ネットワークにおいても高い性能を維持する並列CH前処理アルゴリズムの設計。
• CH前処理中の優先度キューのデータ構造におけるキャッシュローカリティの向上により、メモリアクセス遅延の低減。
• 実用的実装がメモリ階層を活用することで、理論的PRAM最適化アルゴリズムを現実世界の環境で上回ることの実証。
• コアあたりのメモリ消費量を定数384 KBに抑えることで、惑星規模の道路ネットワークの効率的前処理を可能にすること。
• 表計算ハッシュがCH前処理におけるタイブレーキングおよび優先度キューのストレージに与える影響の評価。

提案手法

• この手法は、表計算ハッシュを用いて、1コアあたり384 KBのメモリのみでキャッシュ効率の高い優先度キューのタイブレーキング機構を実装する。
• テーブル参照とXOR演算に基づくハッシュ関数を用い、ノードの優先度を32,768エントリのコンパクトなストレージテーブルにマッピングする。
• 各コアがO(1)の追加領域を用いる共有メモリ並列モデルを採用し、マルチコアシステムにおける効率的スケーリングを実現する。
• 収縮優先度を決定するために、確定ノード数に固定限界を設けたウェッジサーチを用い、前処理の効率性を保証する。
• 優先度キューのデータを格納する15ビットハッシュテーブル（2^15エントリ）を用いることで、衝突を最小限に抑えつつ、フル範囲テーブルと比較して50%のメモリ消費削減を達成する。
• 実装はC++を用い、GCC -O3最適化を適用し、128 GB RAMを搭載したAMD Opteron 8コアシステムで評価された。

実験結果

リサーチクエスチョン

• RQ1 キャッシュに配慮した設計は、CH前処理において理論的PRAM最適化データ構造を実用的文脈で上回ることができるか？
• RQ2 表計算ハッシュは、並列CH前処理における優先度キューのストレージのパフォーマンスとメモリ効率にどのように影響を与えるか？
• RQ3 大規模道路ネットワークで競争力のある前処理時間を達成するために、必要なコアあたりの最小メモリオーバーヘッドは何か？
• RQ4 最適化されたデータ構造によるキャッシュローカリティの活用は、単純なハッシュ関数を用いても、前処理時間を短縮するか？
• RQ5 グラフサイズが増加するに従い、最適化実装と理論的モデルとの間のパフォーマンスギャップはどのように変化するか？

主な発見

• 表計算ハッシュに基づく実装（xorbreak）は、Boostのunordered_mapおよびGoogleのdense_hash_mapをすべて上回る最速の前処理時間を達成した。
• 惑星規模の道路ネットワークでは、xorbreakは前処理時間を15,815.10秒に短縮したのに対し、ベースラインのbias-array法では21,873.58秒であった。
• 惑星規模のグラフにおいて、xorbreakとxorhashのパフォーマンスギャップはわずか2%にまで縮まり、データサイズの増大に対しても高い耐性を示した。
• xorhashバージョンは1コアあたり384 KBのみを消費し、グラフサイズにかかわらず一定のメモリオーバーヘッドを維持したため、キャッシュフェイルの耐性が向上した。
• BoostおよびGoogleのハッシュテーブル実装は、18時間以内に惑星規模の前処理を完了できず、スケーラビリティの限界が顕著になった。
• 結果から、実用的キャッシュに配慮した設計が、単純なハッシュ関数を用いても、理論的PRAM最適化アルゴリズムを現実世界のパフォーマンスで上回ることを示した。