[論文レビュー] The NebulaStream Platform: Data and Application Management for the Internet of Things

Steffen Zeuch, Ankit Chaudhary+7 more|arXiv (Cornell University)|Oct 17, 2019

IoT and Edge/Fog Computing参考文献 35被引用数 30

ひとこと要約

NebulaStream は、センサー、フォグ、クラウドの各レイヤーにまたがるデータおよびアプリケーション管理を統合する汎用的でエンド・ツー・エンドのデータ管理プラットフォームである。非一貫性、不安定な通信、動的な進化の問題に対処するため、多様なハードウェア上で分散型で適応可能なクエリ処理を可能にし、初期の結果では集中型クラウドモデルを凌駕するスケーラビリティを示している。

ABSTRACT

The Internet of Things (IoT) presents a novel computing architecture for data management: a distributed, highly dynamic, and heterogeneous environment of massive scale. Applications for the IoT introduce new challenges for integrating the concepts of fog and cloud computing as well as sensor networks in one unified environment. In this paper, we highlight these major challenges and outline how existing systems handle them. To address these challenges, we introduce the NebulaStream platform, a general purpose, endto-end data management system for the IoT. NebulaStream addresses the heterogeneity and distribution of compute and data, supports diverse data and programming models going beyond relational algebra, deals with potentially unreliable communication, and enables constant evolution under continuous operation. In our evaluation, we demonstrate the effectiveness of our approach by providing early results on partial aspects.

研究の動機と目的

• クラウド中心またはフォグ中心の既存の IoT データ管理システムの限界を解消し、センサー、フォグ、クラウドリソースを統合すること。
• IoT 環境におけるハードウェアの非均一性、不安定な通信、動的なシステム進化の課題を克服すること。
• 関係代数を超えた多様なデータモデルとプログラミング抽象化をサポートすることで、分散型で多様なデバイスにまたがるエンド・ツー・エンドのリアルタイムデータ処理を可能にすること。
• 動的クエリ再構成と信頼性のないネットワークにおけるフェイルセーフを含む、継続的かつ進化可能な運用を可能にするシステムを設計すること。
• センサー、フォグ、クラウドレイヤーを横断するオペレータの再順序付け、統合、分割といった最適化を可能にする統一プラットフォームを提供すること。

提案手法

• センサー、フォグ、クラウドレイヤーにまたがるストリーミングクエリをサポートする分散型でイベント駆動型のアーキテクチャを設計する。
• フォグに配慮したクエリ配置と実行を実装し、エッジデバイスを活用して早期のデータ集約と低遅延処理を実現する。
• 関係代数を超えた複数のプログラミングモデルとデータ抽象化をサポートし、複雑なリアルタイムワークロードに対応する。
• 不安定な通信やノード障害に対処するフェイルセーフメカニズムを統合し、中間結果のレプリケーションと回復を実現する。
• 実行時におけるクエリプランの動的適応を可能にし、変化するシステム状態やハードウェアの可用性に応じて柔軟に調整する。
• 無線センサーネットワーク（例：インフラ構造集約）とクラウド／ストリーム処理システム（例：Flink、Kafka）の概念を統合し、一貫性がありスケーラブルなプラットフォームを構築する。

実験結果

リサーチクエスチョン

• RQ1 センサー、フォグデバイス、クラウドサーバーの間で計算リソースの非均一性が生じる状況において、統一されたデータ管理システムはどのように効果的に対処できるか？
• RQ2 動的で不安定な IoT 環境において、継続的かつ進化するクエリ実行を支えるために必要なアーキテクチャ的およびランタイムメカニズムは何か？
• RQ3 遅延と帯域幅の使用量を最小限に抑えるために、どのようにしてデータ処理をセンサー・フォグ・クラウドスタック全体に効率的にオフロードできるか？
• RQ4 分散型 IoT システムにおける断続的な接続性の欠如やノード障害に直面した場合、どのようにしてフェイルセーフとレジリエンスを実現できるか？
• RQ5 IoT ワークロードにおける多様なプログラミングモデルとデータ抽象化をカバーする一般化されたスケーラブルなデータ処理をどのように達成できるか？

主な発見

• 集中型クラウドベースのアプローチ（例：Kafka + Flink）は、約 20 個の IoT データプロバイダーで飽和し、Kafka のメッセージバックログの影響でエンド・ツー・エンドの遅延が上昇する。
• NebulaStream プラットフォームは、フォグおよびセンサーノードを介してデータソースに近い場所で計算を分散させることで、中央集権的なボトルネックを回避し、スケーラブルで低遅延の処理を実現する。
• 初期の実験的結果では、NebulaStream が数百万の分散型データソースを対象とした高スループット処理を維持でき、負荷下でも集中型モデルを上回ることを示している。
• プラットフォームは動的クエリ適応とフェイルセーフをサポートしており、不安定な通信やノード障害があっても継続的な運用が可能である。
• NebulaStream は、低消費電力センサーからハイエンドクラウドサーバーまで多様なデバイスを統合し、1つの統一されたデータ処理パイプラインとして効果的に運用できる。
• センサーネットワーク、フォグコンピューティング、クラウドストリーム処理の技術を統合することで、オペレータの再順序付けやワークロードのオフロードといったクロスレイヤー最適化を実現している。