[論文レビュー] Main Memory Adaptive Indexing for Multi-core Systems

Víctor Álvarez, Felix Schuhknecht+2 more|arXiv (Cornell University)|Apr 8, 2014

Data Management and Algorithms参考文献 17被引用数 15

ひとこと要約

本稿では、並列的で適応的なインデキシングアルゴリズムとして、Parallel-Chunked Standard Cracking (P-CSC)、Parallel-Chunked Coarse-Granular Index (P-CCGI)、Parallel-Range-Partitioned Sorting (P-CRS) の3つの新規アルゴリズムに加え、NUMAに配慮したハイブリッドソーティング手法を提案し、ソーティングベースのアプローチがマルチコア環境における適応的インデキシングを上回ることを示している。主な発見は、P-CCGIが最小の累積クエリ応答時間を達成している一方、P-CRSとP-RPRSは特に500件を超えるクエリにおいて優れたスケーラビリティとパフォーマンスを示しており、高並列ワークロードにおける適応的インデキシングの優位性に挑戦している。

ABSTRACT

Adaptive indexing is a concept that considers index creation in databases as a by-product of query processing; as opposed to traditional full index creation where the indexing effort is performed up front before answering any queries. Adaptive indexing has received a considerable amount of attention, and several algorithms have been proposed over the past few years; including a recent experimental study comparing a large number of existing methods. Until now, however, most adaptive indexing algorithms have been designed single-threaded, yet with multi-core systems already well established, the idea of designing parallel algorithms for adaptive indexing is very natural. In this regard only one parallel algorithm for adaptive indexing has recently appeared in the literature: The parallel version of standard cracking. In this paper we describe three alternative parallel algorithms for adaptive indexing, including a second variant of a parallel standard cracking algorithm. Additionally, we describe a hybrid parallel sorting algorithm, and a NUMA-aware method based on sorting. We then thoroughly compare all these algorithms experimentally; along a variant of a recently published parallel version of radix sort. Parallel sorting algorithms serve as a realistic baseline for multi-threaded adaptive indexing techniques. In total we experimentally compare seven parallel algorithms. Additionally, we extensively profile all considered algorithms. The initial set of experiments considered in this paper indicates that our parallel algorithms significantly improve over previously known ones. Our results suggest that, although adaptive indexing algorithms are a good design choice in single-threaded environments, the rules change considerably in the parallel case. That is, in future highly-parallel environments, sorting algorithms could be serious alternatives to adaptive indexing.

研究の動機と目的

• コア数の増加に伴いスケーリングする効率的な並列的で適応的なインデキシングアルゴリズムの設計により、マルチコアデータベースシステムにおけるパフォーマンスギャップを是正すること。
• 並列環境において、ソーティングベースの手法が、従来の適応的インデキシングの代替手段として実用的かつ優れた選択肢となり得るかどうかを評価すること。
• 複数のバリエーション（NUMAに配慮した手法やハイブリッドソーティング技術を含む）を比較することで、適応的インデキシングに最適な並列アルゴリズムを同定すること。
• すべてのアルゴリズムにおいて、キャッシュミス、NUMA効果、ロックのオーバーヘッドといったシステムレベルのボトル neck を分析し、アーキテクチャ最適化の指針を得ること。
• さまざまなワークロード条件下で、ソーティングベースの手法の累積クエリ応答時間が適応的インデキシングを上回るまでのターニングポイントを特定すること。

提案手法

• 標準クラッキングのスレッドレベル並列化であるParallel-Chunked Standard Cracking (P-CSC) を提案し、データをチャンクに分割して並列処理を行う。
• 範囲パーティショニングをインデキシングの前処理に適用することで収束性を向上させ、初期応答時間を短縮するParallel-Chunked Coarse-Granular Index (P-CCGI) を導入する。
• 空間効率的でスケーラブルなソーティングの変種として、並列レーダックスォートの高パフォーマンスベースラインとしての役割を果たすParallel-Range-Partitioned Radix Sort (P-RPRS) を開発する。
• 適応的インデキシングの原則とソーティングを組み合わせたハイブリッド並列ソーティングアルゴリズム（P-CRS）を設計し、初期ソート後に高速なクエリ処理を可能にする。
• 非一様メモリアーキテクチャ（NUMA）において、メモリノードに跨ってデータをパーティショニングすることで遅延を低減し、キャッシュ局所性を向上させるNUMAに配慮したソーティング戦略を採用する。
• すべてのアルゴリズムにおいて、帯域幅利用率、キャッシュミス、NUMA効果、ロックのオーバーヘッドを測定するための包括的なプロファイリングを実施し、パフォーマンスボトル neck を同定する。

実験結果

リサーチクエスチョン

• RQ1 スレッド数の増加に伴い、並列的で適応的なインデキシングアルゴリズムの初期応答時間と累積クエリ時間はどのように比較されるか？
• RQ2 特にクエリ数が増加する際、マルチコアシステムにおけるソーティングベースの手法が適応的インデキシングを上回る可能性があるか？
• RQ3 並列ソーティングおよびインデキシングアルゴリズムにおいて、NUMAに配慮したデータパーティショニングのパフォーマンスへの影響は何か？
• RQ4 キャッシュミス、メモリ帯域幅、ロックのオーバーヘッドといったシステムレベル要因が、並列的で適応的なインデキシングのスケーラビリティに与える影響は何か？
• RQ5 マルチコア環境において、ソーティングベース手法の累積クエリ応答時間が適応的インデキシングを上回るまでのターニングポイントはどこか？

主な発見

• Parallel-Chunked Coarse-Granular Index (P-CCGI) は、累積クエリ応答時間が最小であり、約10件のクエリを過ぎると、他のすべてのアルゴリズムを上回る。
• Parallel-Chunked Standard Cracking (P-CSC) は初期応答時間が最も速いが、収束が遅いため、約10件のクエリを過ぎるとP-CCGIに劣る。
• Parallel-Range-Partitioned Radix Sort (P-RPRS) はスレッド数にほぼ線形にスケーリングし、標準的な並列レーダックスォートと比較して大幅に少ない追加メモリを要する。
• ハイブリッドソーティングベースのアルゴリズムP-CRSは、完全なソーティングと同等の初期応答時間を達成し、クエリ数が増加するにつれて急速に最も高速な手法の一つに成長する。
• 最も速い適応的インデキシング手法（P-CSC）と最も速いソーティングベース手法（P-CRS）の間のターニングポイントは約500件のクエリにシフトしており、高同時並列環境ではソーティングが優勢になる可能性を示唆している。
• プロファイリングの結果、P-RPRSとP-CRSはソーティングフェーズでCPUバウンドであることが判明し、これによりスレッドのスケーリングをさらに進めれば、ターニングポイントをさらに早期にシフトできる可能性がある。