[論文レビュー] Distributed Publish/Subscribe Query Processing on the Spatio-Textual Data Stream

Zhida Chen, Gao Cong+3 more|arXiv (Cornell University)|Dec 8, 2016

Peer-to-Peer Network Technologies参考文献 19被引用数 3

ひとこと要約

本稿では、空間的およびテキスト的特徴を同時に最適化することで総処理負荷を最小化し、ワーカー間の負荷をバランスさせるハイブリッドワークロードパーティショニング戦略を用いた、リアルタイムの空間的・テキスト的データストリーム処理を目的とした分散型パブリッシュ/サブスクリプションシステムPS² Streamを提案する。本システムは動的負荷調整により移行コストを低く抑え、26%高いスループットを達成し、実世界のTwitterデータにおいて、遅延とスケーラビリティの面でベースラインを上回る性能を発揮する。

ABSTRACT

Huge amount of data with both space and text information, e.g., geo-tagged tweets, is flooding on the Internet. Such spatio-textual data stream contains valuable information for millions of users with various interests on different keywords and locations. Publish/subscribe systems enable efficient and effective information distribution by allowing users to register continuous queries with both spatial and textual constraints. However, the explosive growth of data scale and user base has posed challenges to the existing centralized publish/subscribe systems for spatio-textual data streams. In this paper, we propose our distributed publish/subscribe system, called PS2Stream, which digests a massive spatio-textual data stream and directs the stream to target users with registered interests. Compared with existing systems, PS2Stream achieves a better workload distribution in terms of both minimizing the total amount of workload and balancing the load of workers. To achieve this, we propose a new workload distribution algorithm considering both space and text properties of the data. Additionally, PS2Stream supports dynamic load adjustments to adapt to the change of the workload, which makes PS2Stream adaptive. Extensive empirical evaluation, on commercial cloud computing platform with real data, validates the superiority of our system design and advantages of our techniques on system performance improvement.

研究の動機と目的

• 増加する空間的・テキスト的データおよびユーザーワークロードの下で、集中型パブリッシュ/サブスクリプションシステムのスケーラビリティ制限に対処すること。
• データおよびクエリワークロードをワーカー間で効率的にパーティショニングし、総処理負荷を最小化する分散型システムを設計すること。
• 動的ワークロード変化に応じて、負荷バランシングと低移行コストをリアルタイムで達成すること。
• 高スループットおよび低遅延要件を満たす実世界の空間的・テキスト的データに対して、システムの性能を評価すること。

提案手法

• 空間的領域とテキストキーワードパターンを統合的に考慮することで、データおよびクエリストリームを効果的に分散するハイブリッドワークロードパーティショニングアルゴリズムを提案する。
• 空間的およびテキスト的相関を分析することで、総ワークロードを最小化し、ワーカーの利用度をバランスさせるワークロード分配モデルを導入する。
• 最小限のデータ移行と遅延への影響で済ませるための動的負荷調整メカニズム（ローカルおよびグローバル）を設計する。
• 各ワーカーが空間的・テキスト的セルを管理するセルベースのデータパーティショニング方式を採用し、効率的なワークロード追跡および移行を可能にする。
• 実際のTwitterデータストリーム（タイムスタンプ付き）を用いて、時間経過に伴う動的クエリ分布をシミュレートする実験でワークロードをスケーリングする。
• Amazon EC2上でスループット、遅延、移行コスト、移行時間のメトリクスを用いて、システムの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 空間的・テキスト的データおよびサブスクリプションクエリを処理する際、分散ワーカー間でワークロードを最適にパーティショニングする方法は何か？
• RQ2 分散型パブリッシュ/サブスクリプションシステムにおいて、総システムワークロードを最小化しつつ負荷バランシングを維持するパーティショニング戦略は何か？
• RQ3 動的負荷調整を実行する際、低移行コストおよび処理遅延への影響を最小限に抑える方法は何か？
• RQ4 動的負荷調整は、変化するワークロード下で、どの程度システムスループットを向上させるか？

主な発見

• PS² Streamは、動的負荷調整なしのシステムと比較して26%高いスループットを達成しており、その負荷調整メカニズムの有効性を示している。
• GR（グローバルリバランス）アルゴリズムは、移行コストと移行時間を最も低く抑え、RAと比較して移行時間を約50%短縮し、SIと比較して約70%短縮している。
• GRは最良の遅延プロファイルを達成しており、80%のタプルが移行に影響を受けず（100ms未満）、わずか4%のタプルが顕著に遅延（1秒以上）している。
• DP（動的パーティショニング）は遅延面で2番目に優れており、72%のタプルが影響を受けないが、セル選択のオーバーヘッドにより選択時間が長くなる。
• 空間的およびテキスト的両方の要因を考慮するハイブリッドワークロードパーティショニング戦略は、空間的またはテキスト的パーティショニングのみを用いるベースラインと比較して、スループットおよび負荷バランシングの面で優れている。
• 移行コストおよび移行時間は、クエリ数の増加に伴い上昇するが、GRおよびDPは、すべてのワークロード条件下でSIおよびRAと比較して著しく低いオーバーヘッドを維持している。