[論文レビュー] BriskStream: Scaling Data Stream Processing on Shared-Memory Multicore Architectures

Shuhao Zhang, Jiong He+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Database Systems and Queries参考文献 46被引用数 5

ひとこと要約

BriskStream は、共有メモリ型データストリーム処理システムであり、相対的位置に配慮したスケジューリング（RLAS）を導入した。RLAS は、プロダーコンシューマー間のオペレータ間メモリアクセス距離をモデル化することで、NUMA効果を考慮した新しい最適化パラダイムを提供する。ブランチアンドバウンズと3つのヒューリスティクスを組み合わせることで、オペレータのリプリケーションと配置を統合最適化し、大規模なマルチコアサーバー上で、既存のシステムと比較して最大10倍のスループットを達成し、優れたスケーラビリティを実現した。

ABSTRACT

We introduce BriskStream, an in-memory data stream processing system (DSPSs) specifically designed for modern shared-memory multicore architectures. BriskStream's key contribution is an execution plan optimization paradigm, namely RLAS, which takes relative-location (i.e., NUMA distance) of each pair of producer-consumer operators into consideration. We propose a branch and bound based approach with three heuristics to resolve the resulting nontrivial optimization problem. The experimental evaluations demonstrate that BriskStream yields much higher throughput and better scalability than existing DSPSs on multi-core architectures when processing different types of workloads.

研究の動機と目的

• 既存のデータストリーム処理システム（DSPS）における、現代の共有メモリ型マルチコアアーキテクチャのスケーラビリティの低さとリソース未利用の問題に対処すること。
• メモリアクセス遅延のばらつきを考慮しないヒューリスティックベースまたは非NUMA対応のオペレータ配置・リプリケーション戦略の限界を克服すること。
• 生産者-消費者オペレータ間の相対的位置（NUMA距離）を考慮した、モデル駆動で体系的なアプローチにより、オペレータのリプリケーションと配置を統合最適化すること。
• リモートメモリアクセスのペナルティを最小限に抑えることで、大規模なマルチソケットサーバー上で高スループットかつスケーラブルなストリーム処理を実現すること。
• 現代の共有メモリ型マルチコアシステム上で実行されるインメモリ型パイプライン処理DSPSに適用可能な汎用的な最適化フレームワークを提供すること。

提案手法

• NUMA距離がオペレータのスループットとリソース要件に与える影響をモデル化する、RLAS（相対的位置に配慮したスケジューリング）と呼ばれる新しい実行計画最適化パラダイムを提案する。
• 性能予測モデルを用いて、異なるNUMA構成下での性能を予測し、そのガイドラインに従って、オペレータの配置とリプリケーションの解空間をブランチアンドバウンズ法で探索する。
• 3つの主要なヒューリスティクスを導入する：(1) 接続されたオペレータペアに焦点を当てたエッジベースの意思決定、(2) ベストフィット配置と冗長性削除による探索空間の縮小、(3) 最適化の深さと効率のトレードオフを調整可能な調整可能な粒度制御。
• 動的ボトルネック検出と反復的リプリケーションスケーリングを統合し、現在の配置性能に基づいてボトルネックオペレータを特定し、そのリプリケーションレベルを増加させる。
• Storm/Heron互換のAPIを備えた新しいDSPSとしてBriskStreamを実装し、ロックフリーデータ構造やキャッシュに配慮したメモリ管理などの共有メモリ最適化を強化した。
• 配置意思決定に基づいてオペレータのスループットを推定する性能予測モデルを採用し、候補となる実行計画の正確な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共有メモリ型マルチコアストリーム処理システムにおいて、NUMA効果を考慮した状況下で、オペレータの配置とリプリケーションをどのように統合最適化すれば、スループットを最大化できるか？
• RQ2 生産者-消費者オペレータ間の相対的位置（NUMA距離）を考慮することで、従来の配置戦略と比較して、システムのスケーラビリティとパフォーマンスはどの程度向上するか？
• RQ3 モデル駆動でブランチアンドバウンズに基づく最適化アプローチは、NUMA効果に起因する動的性能変動によって生じる複雑で確率的な解空間を効果的に探索できるか？
• RQ4 大規模なマルチソケットサーバー上でのスループットとスケーラビリティの観点から、RLASは、ラウンドロビンやファーストフィットなどのヒューリスティックベースの戦略と比較して、どの程度優れているか？
• RQ5 配置に配慮したボトルネック検出に基づくオペレータリプリケーションチューニングが、全体のシステムスループットに及ぼす影響は何か？

主な発見

• BriskStream は、256コア、2TBのメモリを備えた八ソケットサーバー上でも、Storm や Flink などの既存のオープンソースDSPSと比較して最大10倍のスループットを達成した。
• システムは、コア数の増加に伴っても高いスループットを維持する優れたスケーラビリティを示し、ヒューリスティックベースおよびベースラインのNUMA無視型システムを上回った。
• RLAS は、生産者-消費者オペレータペアを近接するNUMAノードに戦略的に配置することで、リモートメモリアクセスのペナルティを顕著に低減し、測定可能なパフォーマンス向上をもたらした。
• RLASに組み込まれた3つのヒューリスティクスは、解空間のサイズを縮小し、探索効率を向上させ、解の品質を損なうことなくスケーラブルな最適化を可能にした。
• 先行研究におけるヒューリスティックベースのアプローチと比較して、RLAS は多様なワークロードにおいて優れたパフォーマンスを発揮し、局所最適解を避けてワークロード固有のボトルネックに適応した。
• 動的ボトルネック検出とリプリケーションスケーリングの統合により、より効果的な負荷分散と高いエンドツーエンドスループットが実現された。