[论文解读] Large Scale Estimation in Cyberphysical Systems using Streaming Data: a Case Study with Smartphone Traces

Timothy Hunter, Tathagata Das+3 more|arXiv (Cornell University)|Dec 14, 2012

Vehicular Ad Hoc Networks (VANETs)参考文献 22被引用 3

一句话总结

本文提出 D-Streams，一种在 Apache Spark 中实现的流式数据处理模型，用于在信息物理系统中实现低延迟、大规模的状态估计。该方法应用在线期望最大化算法，基于实时智能手机 GPS 轨迹估计城市交通状况，实现在拥有五十万条道路链接的路网中每秒处理数万个观测值，延迟低于一秒。

ABSTRACT

Controlling and analyzing cyberphysical and robotics systems is increasingly becoming a Big Data challenge. Pushing this data to, and processing in the cloud is more efficient than on-board processing. However, current cloud-based solutions are not suitable for the latency requirements of these applications. We present a new concept, Discretized Streams or D-Streams, that enables massively scalable computations on streaming data with latencies as short as a second. We experiment with an implementation of D-Streams on top of the Spark computing framework. We demonstrate the usefulness of this concept with a novel algorithm to estimate vehicular traffic in urban networks. Our online EM algorithm can estimate traffic on a very large city network (the San Francisco Bay Area) by processing tens of thousands of observations per second, with a latency of a few seconds.

研究动机与目标

• 为解决在信息物理系统中利用流式数据实现低延迟、大规模状态估计的挑战。
• 开发一种基于智能手机 GPS 轨迹的可扩展、实时城市路网交通估计系统。
• 证明在 Spark 上的 D-Streams 能够支持复杂机器学习算法，实现低延迟和高吞吐量。
• 评估在线 EM 算法在大规模路网中估计行程时间分布性能的表现。
• 发布开源代码与数据，以促进实时交通估计与流式系统领域的研究。

提出的方法

• 作者提出 D-Streams 编程模型，通过在小的离散时间间隔内处理流式数据，实现可扩展性与低延迟之间的平衡。
• 在 Apache Spark 上实现 D-Streams，利用其内存计算能力与高级 API 实现分布式流式处理。
• 采用在线期望最大化（EM）算法，通过增量更新来自流式 GPS 观测数据的参数，实现行程时间分布的估计。
• 该方法将路段行程时间建模为独立的伽马分布随机变量，并基于观测到的部分路段轨迹计算条件密度。
• 通过数据转换步骤，将部分路段的 GPS 读数映射为完整路段上的加权观测值，以考虑车辆在红绿灯处的停驶情况。
• 系统部署在通用硬件集群上，每秒可处理数万个观测值，延迟控制在数秒以内。

实验结果

研究问题

• RQ1 D-Streams 在 Spark 上能否实现在信息物理系统中亚秒级延迟的实时、大规模估计？
• RQ2 在线 EM 算法在基于流式智能手机 GPS 数据估计城市交通状态方面表现如何？
• RQ3 数据量与轨迹长度对行程时间分布估计精度有何影响？
• RQ4 路段之间独立性假设对长轨迹行程时间预测精度有何影响？
• RQ5 仅使用通用硬件的简单、可扩展系统能否在实时交通估计中超越传统批处理方法？

主要发现

• 系统实现亚秒级延迟，并可在大型城市路网（旧金山湾区）中每秒处理数万个 GPS 观测值。
• 采用滑动窗口处理的在线 EM 算法（SlidingBig）表现最佳，尤其在中等长度行程（4–11 分钟）中。
• L1 和 L2 误差指标表明，短至中等行程时间的估计精度最高，而长轨迹的性能有所下降。
• 对数似然结果表明，模型的预测密度在长行程中下降，凸显了独立路段假设的局限性。
• 由于将部分路段观测映射为完整路段行程时间的复杂性，相对误差随轨迹长度增加而上升。
• 尽管存在这些局限，模型在不同数据设置下仍表现出稳健性，表明即使数据量较小，也能获得可接受的结果。