[論文レビュー] The design of a streaming analytical workflow for processing massive transit feeds

Hung Cao, Mónica Wachowicz|arXiv (Cornell University)|Jun 15, 2017

Traffic Prediction and Management Techniques参考文献 2被引用数 4

ひとこと要約

本論文は、Hadoop MapReduceに基づくストリーミング分析ワークフローを提示し、リアルタイムのモビリティ分析のための膨大で継続的な交通データフィードを処理する。データインジェクション、クリーニング、コンテキスト化を統合し、特に正確な到着／出発時刻と旅程の軌跡の計算を実施。クラウド環境において高いスケーラビリティとパフォーマンスを示し、将来のフォッグコンピューティング統合による遅延低減に向けた影響を示している。

ABSTRACT

Retrieving and analyzing transit feeds relies on working with analytical workflows that can handle the massive volume of data streams that are relevant to understand the dynamics of transit networks which are entirely deterministic in the geographical space in which they takes place. In this paper, we consider the fundamental issues in developing a streaming analytical workflow for analyzing the continuous arrival of multiple, unbounded transit data feeds for automatically processing and enriching them with additional information containing higher level concepts accordingly to a particular mobility context. This workflow consists of three tasks: (1) stream data retrieval for creating time windows; (2) data cleaning for handling missing data, overlap data or redundant data; and (3) data contextualization for computing actual arrival and departure times as well as the stops and moves during a bus trip, and also performing mobility context computation. The workflow was implemented in a Hadoop cloud ecosystem using data streams from the CODIAC Transit System of the city of Moncton, NB. The Map() function of MapReduce is used to retrieve and bundle data streams into numerous clusters which are subsequently handled in a parallel manner by the Reduce() function in order to execute the data contextualization step. The results validate the need for cloud computing for achieving high performance and scalability, however, due to the delay in computing and networking, it is clear that data cleaning tasks should not only be deployed using a cloud environment, paving the way to combine it with fog computing in the near future.

研究の動機と目的

• 大規模で継続的な交通データストリームをリアルタイムで分析する課題に対処すること。
• 複数のソースからの無制限な交通フィードを処理するスケーラブルで並列処理可能なワークフローを設計すること。
• 乗車停止、移動、実際の到着／出発時刻を含む、モビリティコンテキストの正確な計算を可能にすること。
• 大規模な交通分析におけるクラウドベース処理のパフォーマンスと実現可能性を評価すること。
• 遅延の制限を特定し、将来の最適化のためのハイブリッドクラウド・フォッグアーキテクチャを提案すること。

提案手法

• 分散ストリーム処理にMapReduceを用いたHadoopエコシステム上でワークフローが実装されている。
• Map()関数は、入力ストリームを時間ウィンドウごとのクラスタに集約・バッチ化し、並列処理を可能にする。
• Reduce()関数は、旅程再構築とモビリティコンテキスト計算を含む、データのコンテキスト化を実行する。
• データクリーニングが、ストリーム内の欠損、重複、冗長なデータの解消に適用されている。
• 時間ウィンドウに基づくデータ取得を用いて、継続的なデータインジェクションを管理し、時間的整合性を維持する。
• クラウドインfrastrctureを活用することで、大規模なデータワークロードに対して高いスケーラビリティとパフォーマンスを達成している。

実験結果

リサーチクエスチョン

• RQ1 大規模で継続的な交通データフィードを処理するための、スケーラブルでリアルタイムの分析ワークフローをどのように設計できるか？
• RQ2 クラウド環境におけるHadoop MapReduceを用いたストリーミング交通データ処理のパフォーマンス特性は何か？
• RQ3 交通ネットワークのストリーミングパイプラインに、データクリーニングとコンテキスト化を効果的に統合する方法は何か？
• RQ4 クラウドベースのストリーミング処理における遅延課題は何か？ そして、それらをどのように緩和できるか？
• RQ5 フォッグコンピューティングは、低遅延の交通分析にクラウドベース処理をどの程度補完できるか？

主な発見

• Hadoopベースのワークフローは、大規模な交通データストリームの処理において、高いパフォーマンスとスケーラビリティを達成した。
• MapReduceの使用により、分散ノード上でデータコンテキスト化タスクの効率的並列処理が可能になった。
• データクリーニングが、遅延の主なボトルネックであることが判明し、最適化された事前処理の必要性が強調された。
• システムは、停止、移動、実際の到着／出発時刻を含む、正確な旅程レベルの情報を効果的に計算した。
• クラウドとフォッグコンピューティングを組み合わせることで、処理遅延を低減し、リアルタイム応答性を向上させられると示唆された。
• 本ワークフローは、自動的かつ大規模な交通データの拡張が、モビリティコンテキスト分析に実現可能であることを示した。