[論文レビュー] Large Scale Estimation in Cyberphysical Systems using Streaming Data: a Case Study with Smartphone Traces

Timothy Hunter, Tathagata Das+3 more|arXiv (Cornell University)|Dec 14, 2012

Vehicular Ad Hoc Networks (VANETs)参考文献 22被引用数 3

ひとこと要約

本稿では、Apache Sparkに実装されたストリーミングデータ処理モデルD-Streamsを提案し、サイバーフィジカルシステムにおける低遅延で大規模な推定を可能にする。リアルタイムのスマートフォンGPSトレースを用いて、オンラインの期待値最大化（EM）アルゴリズムを適用し、都市部の交通状況を推定することで、1秒未塔の遅延を達成し、50万本の道路リンクからなるネットワークで秒間数万件の観測をスケーリング可能である。

ABSTRACT

Controlling and analyzing cyberphysical and robotics systems is increasingly becoming a Big Data challenge. Pushing this data to, and processing in the cloud is more efficient than on-board processing. However, current cloud-based solutions are not suitable for the latency requirements of these applications. We present a new concept, Discretized Streams or D-Streams, that enables massively scalable computations on streaming data with latencies as short as a second. We experiment with an implementation of D-Streams on top of the Spark computing framework. We demonstrate the usefulness of this concept with a novel algorithm to estimate vehicular traffic in urban networks. Our online EM algorithm can estimate traffic on a very large city network (the San Francisco Bay Area) by processing tens of thousands of observations per second, with a latency of a few seconds.

研究の動機と目的

• ストリーミングデータを用いたサイバーフィジカルシステムにおける低遅延で大規模な状態推定の課題に対処すること。
• スマートフォンGPSトレースを用いて、都市ネットワーク向けにスケーラブルでリアルタイムの交通状況推定システムを開発すること。
• Spark上のD-Streamsが、低遅延と高スループットを実現しながら、複雑な機械学習アルゴリズムをサポートできることを示すこと。
• 大規模な道路ネットワークにおける移動時間分布の推定に、オンラインEMアルゴリズムの性能を評価すること。
• 研究を促進するため、オープンソースのコードとデータを公開すること。

提案手法

• 著者らは、スケーラビリティと低遅延の両立を図るために、ストリーミングデータを小さな離散時間間隔で処理するプログラミングモデルD-Streamsを導入する。
• D-Streamsは、分散ストリーム処理のための高水準APIとメモリ内計算を活用したApache Spark上で実装される。
• オンラインの期待値最大化（EM）アルゴリズムを用いて、ストリーミングGPS観測から段階的にパラメータを更新することで、移動時間分布を推定する。
• 本手法は、リンクの移動時間を独立したガンマ分布に従う確率変数としてモデル化し、観測された部分的リンク軌跡に基づく条件付き密度を計算する。
• データ変換ステップでは、部分的リンクのGPS読み取り値を、信号待ちによる車両の停止を考慮した完全な道路リンク上の重み付き観測値に変換する。
• 本システムは、コンmodityハードウェアのクラスタ上で稼働し、秒間数万件の観測を処理し、遅延は数秒未塔である。

実験結果

リサーチクエスチョン

• RQ1 Spark上のD-Streamsは、サブ秒未塔の遅延を実現しながら、サイバーフィジカルシステムにおけるリアルタイムで大規模な推定を可能にするか？
• RQ2 オンラインEMアルゴリズムは、ストリーミングスマートフォンGPSデータから都市部の交通状況を推定する際に、どの程度の性能を示すか？
• RQ3 データ量と軌跡長は、移動時間分布の推定精度にどのような影響を及ぼすか？
• RQ4 道路リンク間の独立性という仮定が、長距離軌跡の移動時間予測精度に与える影響は何か？
• RQ5 コンmodityハードウェアを用いたシンプルでスケーラブルなシステムは、リアルタイム交通状況推定において、従来のバッチ処理を上回る性能を発揮できるか？

主な発見

• 本システムは、サブ秒未塔の遅延を達成し、サンフランシスコ湾岸地域のような大規模な都市道路ネットワークで、秒間数万件のGPS観測を処理するスケーラビリティを有している。
• スライディングウィンドウ処理を用いたオンラインEMアルゴリズム（SlidingBig）が、特に中程度の移動時間（4～11分）において最良の性能を示した。
• L1およびL2誤差指標から、短～中程度の移動時間において推定精度が最も高く、長距離の軌跡では性能が低下することが明らかになった。
• 対数尤度の結果から、長距離移動ではモデルの予測密度が劣化しており、リンク間の独立性仮定の限界が浮き彫りになった。
• 部分的リンク観測を完全なリンク移動時間にマッピングする複雑さが、軌跡長に比例して相対誤差を増大させていることが判明した。
• これらの制限にもかかわらず、モデルはさまざまなデータ設定において安定した性能を示しており、わずかなデータ量でも十分な結果が得られると示唆している。