[論文レビュー] Distributed Data Stream Processing and Edge Computing: A Survey on Resource Elasticity and Future Directions

Marcos Dias de Assunção, Alexandre da Silva Veith+1 more|arXiv (Cornell University)|Sep 5, 2017

Cloud Computing and Resource Management参考文献 78被引用数 5

ひとこと要約

この論文は、クラウドおよびエッジコンピューティング環境におけるストリーム処理エンジンとリソースエラスティシティメカニズムを調査し、変動するワークロードに応じた動的スケーリングに焦点を当てている。ハイブリッドアーキテクチャにおけるエラスティシティの課題を統一的に理解することを提案し、分散型で異種のインfra構造にわたる展開を簡素化する高水準プログラミング抽象化の導入を提唱している。これにより、IoTおよびスマートシティアプリケーションにおける効率的で低レイテンシの処理が可能になる。

ABSTRACT

Under several emerging application scenarios, such as in smart cities, operational monitoring of large infrastructure, wearable assistance, and Internet of Things, continuous data streams must be processed under very short delays. Several solutions, including multiple software engines, have been developed for processing unbounded data streams in a scalable and efficient manner. More recently, architecture has been proposed to use edge computing for data stream processing. This paper surveys state of the art on stream processing engines and mechanisms for exploiting resource elasticity features of cloud computing in stream processing. Resource elasticity allows for an application or service to scale out/in according to fluctuating demands. Although such features have been extensively investigated for enterprise applications, stream processing poses challenges on achieving elastic systems that can make efficient resource management decisions based on current load. Elasticity becomes even more challenging in highly distributed environments comprising edge and cloud computing resources. This work examines some of these challenges and discusses solutions proposed in the literature to address them.

研究の動機と目的

• 変動するワークロード下での分散型ストリーム処理システムにおける効率的リソースエラスティシティを達成する課題に対処すること。
• リアルタイムデータ処理におけるレイテンシとネットワークオーバーヘッドを低減するために、クラウドとエッジコンピューティングを統合的に活用する方法を検討すること。
• 特にハイブリッドクラウド-エッジ環境において、エラスティシティ管理に関する既存のストリーム処理フレームワークのギャップを特定すること。
• 異種のインfra構造にわたるシームレスな展開とエラスティシティをサポートする高水準プログラミング抽象化の必要性を検討すること。
• 分散型および制限付き環境における適応的でフェイルセーフかつスケーラブルなストリーム処理の今後の研究方向性を提示すること。

提案手法

• アーキテクチャの進化と実行モデルに基づき、ストリーム処理エンジンを3世代に分類する。
• クラウドベースのストリーム処理プラットフォームにおける既存のエラスティシティメカニズムを分析し、自動スケーリングと動的リソース割り当てに焦点を当てる。
• エッジコンピューティングのストリーム処理への統合を評価し、タスク配置、データフローの適応、レイテンシ低減戦略を含む。
• Apache Beam や Apache Quarks/Edgent といったプログラミングモデルをレビューし、クラウドとエッジ環境間でのポータビリティと抽象化を可能にする。
• コンテナ化による分散型ストリーム処理システムにおけるエラスティシティとフェイルセーフの向上を検討する。
• SDN と認知モデルを用いたハイブリッドクラウド-エッジアーキテクチャにおけるアプリケーション配置とデータフロー経路の共同最適化を提案する。

実験結果

リサーチクエスチョン

• RQ1 現代のストリーム処理エンジンは、変動するデータワークロードに応じてリソースエラスティシティをどのように管理しているか？
• RQ2 クラウドとエッジコンピューティングインフラストラクチャにまたがるデータストリーム処理において、エラスティックリソース管理を達成するにあたり、どのような主な課題があるか？
• RQ3 高水準プログラミング抽象化は、ハイブリッドで分散型の環境におけるストリーム処理アプリケーションの開発と展開をどのように簡素化できるか？
• RQ4 クラウドとネットワークエッジにストリーム処理オペレータを配置する際のトレードオフは何か？
• RQ5 機械学習モデルのコンセプトドリフトは、エッジにデプロイされたストリーム処理パイプラインでどのように検出され、管理されるべきか？

主な発見

• 特に動的で分散型の環境においてコスト効率とパフォーマンスの観点から重要であるにもかかわらず、ストリーム処理におけるリソースエラスティシティは未だ十分に検討されていない。
• マイクロバッチ処理フレームワークは、連続処理モデルに比べて遅延タスク（ストラグルタスク）をより効果的に処理できるため、フェイルセーフとスケーラビリティが向上する。
• エッジコンピューティングにより、データソースに近い場所でデータ処理が可能になるため、レイテンシとネットワーク使用量が低減される。これは特にIoTおよびリアルタイム監視において有益である。
• Apache Beam などの既存のプログラミングモデルは、Flink や Spark といったバックエンド間でのポータビリティを可能にするが、エッジデプロイメントおよびエラスティシティの完全なサポートを欠いている。
• コンテナ化とプラットフォームバインディング（例：Apache Quarks/Edgent）は、異種で分散型のアーキテクチャにおけるデプロイメントの柔軟性とエラスティシティ管理を向上させる。
• クラウドとエッジ間でのストリーム処理オペレータの最適配置は、データフロー、リソース使用量、ネットワーク制約を統合的に最適化する必要がある複雑な未解決問題のままである。