[論文レビュー] Strider: A Hybrid Adaptive Distributed RDF Stream Processing Engine

Xiangnan Ren, Olivier Curé|arXiv (Cornell University)|May 16, 2017

Advanced Database Systems and Queries参考文献 19被引用数 4

ひとこと要約

Strider は、Apache Spark および Kafka の上に構築されたハイブリッドで適応的分散型の RDF ストリーム処理エンジンであり、データストリームの特性に基づいて実行時において動的に SPARQL クエリ計画を最適化する。9ノードのクラスタ上で最大 310 万 RDF トリプル/秒のスループットを達成し、単一マシン評価においては最先端のシステム比で 60 倍の性能向上を示した。

ABSTRACT

Real-time processing of data streams emanating from sensors is becoming a common task in Internet of Things scenarios. The key implementation goal consists in efficiently handling massive incoming data streams and supporting advanced data analytics services like anomaly detection. In an on-going, industrial project, we found out that a 24/7 available stream processing engine usually faces dynamically changing data and workload characteristics. These changes impact the engine's performance and reliability. We propose Strider, a hybrid adaptive distributed RDF Stream Processing engine that optimizes logical query plan according to the state of data streams. Strider has been designed to guarantee important industrial properties such as scalability, high availability, fault-tolerant, high throughput and acceptable latency. These guarantees are obtained by designing the engine's architecture with state-of-the-art Apache components such as Spark and Kafka. We highlight the efficiency (e.g., on a single machine machine, up to 60x gain on throughput compared to state-of-the-art systems, a throughput of 3.1 million triples/second on a 9 machines cluster, a major breakthrough in this system's category) of Strider on real-world and synthetic data sets.

研究の動機と目的

• 動的変化するデータおよびワークロード条件下でも、高スループットと低レイテンシーを維持するリアルタイム RDF ストリーム処理の課題に対処すること。
• スケーラビリティ、高可用性、フォールトトレランス、適応性を備えた生産環境向け RSP エンジンを設計し、産業用 IoT ワークロードに対応すること。
• 既存の分散 RSP システムにおける静的でコンパイル時最適化の制限を克服し、ストリーム量およびクエリ特性に基づく実行時適応を導入すること。
• センサーネットワークからの大規模でスキーマフリーな RDF データストリームに対して、効率的な継続的 SPARQL 処理を可能にすること。
• RSP エコシステムにおけるギャップを埋めるために、適応的最適化戦略を用いたマイクロバッチ処理をサポートし、パフォーマンスと信頼性の向上を図ること。

提案手法

• 分散センサーからの高スループットでフォールトトレラントなメッセージストリーミングおよびデータインジェストを実現するため、Apache Kafka を活用する。
• マイクロバッチ処理を用いた Spark Streaming を採用し、時間制限付きデータウィンドウ上で継続的 SPARQL クエリのニアリアルタイム評価を可能にする。
• 入力データ量に応じてコンパイル時におけるルールベース最適化と実行時におけるコストベース最適化の間を切り替えるハイブリッド適応的クエリ処理（AQP）戦略を導入する。
• ストリーム特性の変化に応じて、前回ウィンドウの終了時または現在のウィンドウ内でのみ、クエリ計画を動的に再最適化する。
• クエリ実行中に自動的に戦略を切り替えることができるトリガー駆動型メカニズムをオプティマイザに導入し、手動介入を不要にする。
• 特に構造的に不安定な RDF ストリームにおいて性能劣化を防ぐために、複数のジョインを含む複雑なクエリに対して論理的計画再構築を適用する。

実験結果

リサーチクエスチョン

• RQ1 分散型 RDF ストリーム処理エンジンは、動的変化するデータストリームワークロード下でも、どのようにして高スループットと低レイテンシーを維持できるか？
• RQ2 リアルタイム RDF ストリーム処理システムにおいて、パフォーマンスや信頼性を損なわず、クエリ計画の効果的な適応を実現するためのメカニズムは何か？
• RQ3 ルールベースとコストベース最適化を組み合わせたハイブリッド適応的クエリ処理戦略は、大規模な RDF ストリーム処理においてどの程度パフォーマンスを向上させられるか？
• RQ4 継続的 SPARQL クエリ処理において、マイクロバッチ処理に実行時計画適応を組み合わせたものと、レコード単位処理とを比較した場合、スループットとレイテンシーの点でどのような差異が生じるか？
• RQ5 既存の分散 RSP システムにおけるパフォーマンスボトルネックは何か？また、Spark および Kafka の統合といったアーキテクチャ的選択により、それらのボトル neck をどのように緩和できるか？

主な発見

• Strider は 9 台のマシンから構成されるクラスタ上で、最大 310 万 RDF トリプル/秒のスループットを達成し、分散 RSP 領域において画期的なパフォーマンス向上を実現した。
• 単一マシン環境では、最先端のシステム比で最大 60 倍のスループット向上を示し、リソース制限のある環境下でも効率的であることを示した。
• 適応的クエリ最適化戦略は、構造的に不安定な RDF ストリーム（特にクエリ Q9 における複雑なジョインパターンを含むもの）に対しても効果的に対処でき、急激なパフォーマンス劣化を防いでいる。
• 本システムは、実世界および合成データセットの両方を処理する際に、ストリーム特性の変化に関係なく一貫したパフォーマンスを維持し、高い信頼性を示した。
• マイクロバッチアーキテクチャは、レコード単位処理システムに比べて、ややレイテンシーが増加するものの、より優れたフォールトトレランスとシステムの適応性を実現した。
• 制限事項として、データ準備のための初期化オーバーヘッドが 0.8～1 秒にのぼり、ジョインオペレータの数が増えるとスループットが低下する傾向がある。これは、クラスタスケーリングやドライバ設定の強化により、さらなる最適化が可能である可能性を示唆している。