[論文レビュー] Benchmarking Concurrent Priority Queues: Performance of k-LSM and Related Data Structures

Jakob Gruber, Jesper Larsson Träff+1 more|arXiv (Cornell University)|Mar 16, 2016

Distributed systems and fault tolerance参考文献 11被引用数 3

ひとこと要約

本論文は、k-LSMおよび関連データ構造を含む同時実行優先度キューを、多様なワークロードおよびキー分布においてベンチマーク化する。均一なキー分布下ではk-LSMが高スループットを達成するが、非均一な分布下では著しく性能が低下することを示しており、スループットのみでは同時実行優先度キューの評価が不十分であることが浮き彫りになる。

ABSTRACT

A number of concurrent, relaxed priority queues have recently been proposed and implemented. Results are commonly reported for a throughput benchmark that uses a uniform distribution of keys drawn from a large integer range, and mostly for single systems. We have conducted more extensive benchmarking of three recent, relaxed priority queues on four different types of systems with different key ranges and distributions. While we can show superior throughput and scalability for our own k-LSM priority queue for the uniform key distribution, the picture changes drastically for other distributions, both with respect to achieved throughput and relative merit of the priority queues. The throughput benchmark alone is thus not sufficient to characterize the performance of concurrent priority queues. Our benchmark code and k-LSM priority queue are publicly available to foster future comparison.

研究の動機と目的

• 標準的なスループットベンチマークを超えて、同時実行優先度キューのパフォーマンスを評価すること。
• 異なるキー分布およびワークロードパターンが、緩和された優先度キューのスケーラビリティおよびスループットに与える影響を調査すること。
• 離散イベントシミュレーションやグラフアルゴリズムで一般的なワークロードにおける、緩和セマンティクスの実世界への適用可能性を評価すること。
• 将来の同時実行優先度キュー設計の再現可能で比較可能な評価を可能にするために、公開可能なベンチマークスイートおよびk-LSMの実装を提供すること。

提案手法

• 複数のワークロード（均一：50%挿入/削除、スプリット：半分挿入のみ、半分削除のみ）を備えた設定可能なベンチマークの設計。
• キー分布のテスト：8ビット、16ビット、32ビット範囲における均一分布、および段階的キーシフトを伴う上行・下行シーケンス。
• 5種類の優先度キュー実装の実装と評価：k-LSM（k=128, 256, 4096）、SprayList、MultiQueue、およびグローバルロック付きヒープをベースラインとして採用。
• 4つのマルチコアシステムでスループット（1秒あたりの操作数）およびランク誤差（厳密な優先度セマンティクスからの逸脱）を測定。
• 統計的分析（30回実行の平均および標準偏差）を用いて、パフォーマンスの整合性とスケーラビリティを評価。
• ベンチマークコードおよびk-LSM実装を公開し、再現可能性および将来の比較を支援。

実験結果

リサーチクエスチョン

• RQ1 k-LSMおよびその他の同時実行優先度キューのパフォーマンスは、均一、上行、下行などの異なるキー分布においてどのように変化するか？
• RQ2 スループットベンチマークのみでは、同時実行優先度キューのパフォーマンスを十分に特徴付けられるか。それとも、ワークロードパターンが重要か？
• RQ3 緩和セマンティクス（例：k個の最小要素のうちの1つを返す）は、多様なワークロードにおいて実世界のパフォーマンスと整合性にどのように影響するか？
• RQ4 どのデータ構造が、異なるシステムおよびワークロード設定において最も一貫したパフォーマンスを示すか？
• RQ5 実際の動作では、ランク誤差が理論的な最悪ケースの境界からどの程度逸脱するか？

主な発見

• k-LSM優先度キューは、均一なワークロードおよび均一なキー下で80コアシステム上で1秒あたり3億以上（300M）の操作を達成し、他のすべての実装を上回る性能を示した。
• 上行キーを伴うスプリットワークロード下では、スループットが10分の1に低下し、MultiQueueがk-LSMを著しく上回るトップパフォーマンスを発揮した。
• 8ビットのキー範囲に制限された状況では、k-LSMが他のキューを上回る性能を示したが、すべての実装のスループットは依然として低かった。
• SprayListは非均一なワークロード、特にスプリットおよび上行キーの状況で不安定となり、信頼できる結果を出力できなかった。
• MultiQueueは、すべての設定およびシステムで最も一貫したパフォーマンスを示し、安定したスループットと低い分散を達成した。
• ランク誤差の測定結果から、すべてのキューが理論的な最悪ケースの境界よりもはるかに真の最小値に近い要素を返しており、緩和されても実用上信頼性があることが示された。