[论文解读] Big Data application in congestion detection and classification using Apache spark

Atousa Zarindast, Anuj Sharma|arXiv (Cornell University)|Jan 16, 2021

Traffic Prediction and Management Techniques参考文献 17被引用 4

一句话总结

本文提出了一种可扩展的、基于Spark的大数据框架，利用76 GB的探针车辆数据，在爱荷华州州际公路系统上实现对时空拥堵的检测与重复性拥堵（RC）分类。该方法利用Apache Spark的内存处理和HDFS存储，将计算时间减少99.88%，同时保持90%的准确率，实现了对3,017个高速公路路段的近实时交通管理与模式识别。

ABSTRACT

With the era of big data, an explosive amount of information is now available. This enormous increase of Big Data in both academia and industry requires large-scale data processing systems. A large body of research is behind optimizing Spark's performance to make it state of the art, a fast and general data processing system. Many science and engineering fields have advanced with Big Data analytics, such as Biology, finance, and transportation. Intelligent transportation systems (ITS) gain popularity and direct benefit from the richness of information. The objective is to improve the safety and management of transportation networks by reducing congestion and incidents. The first step toward the goal is better understanding, modeling, and detecting congestion across a network efficiently and effectively. In this study, we introduce an efficient congestion detection model. The underlying network consists of 3017 segments in I-35, I-80, I-29, and I-380 freeways with an overall length of 1570 miles and averaged (0.4-0.6) miles per segment. The result of congestion detection shows the proposed method is 90% accurate while has reduced computation time by 99.88%.

研究动机与目标

• 开发一种可扩展的、高性能的大数据框架，用于在大规模高速公路网络中检测拥堵和重复性拥堵（RC）。
• 通过实现全面的时空分析，解决以往研究局限于小地理区域或短时间周期的局限性。
• 在保持高检测准确率的同时，降低计算时间和成本，以支持实时交通管理应用。
• 利用Apache Spark的内存处理和HDFS，实现对大规模交通数据的高效、分布式数据处理。
• 提供一种可推广的、计算高效的解决方案，适用于实时交通监控与政策制定。

提出的方法

• 该框架使用Apache Spark的弹性分布式数据集（RDD）模型，处理来自爱荷华州州际公路（I-35、I-80、I-29、I-380）的76 GB探针车辆速度数据，覆盖3,017个路段。
• 数据通过Hadoop分布式文件系统（HDFS）进行存储和管理，实现可扩展且容错的数据访问。
• 该方法采用三阶段处理流水线：（1）数据预处理，（2）基于贝叶斯变化点检测的拥堵识别，（3）重复性与非重复性拥堵的分类。
• 通过按路段和一天中不同时段分析速度特征，检测拥堵事件，其中重复性拥堵定义为在高峰时段持续出现的拥堵。
• 系统使用PySpark进行高级编程，并利用Spark优化技术，如内存计算、数据分区和广播变量，以提升性能。
• 准确率通过标准指标评估：真正例（TP）、真负例（TN）、假正例（FP）和假负例（FN），准确率计算公式为（TP + TN）/（TP + TN + FP + FN）。

实验结果

研究问题

• RQ1 如何设计一种大数据框架，以在大规模、多路段高速公路网络中检测拥堵和重复性拥堵模式？
• RQ2 与传统数据驱动方法相比，Apache Spark在拥堵检测中能在多大程度上减少计算时间和成本？
• RQ3 在可扩展的大数据处理流水线中，拥堵分析的检测准确率与计算效率之间存在何种权衡？
• RQ4 像Spark这样的分布式内存处理系统，是否能够在近实时处理TB级交通数据的同时保持高准确率？
• RQ5 在相同数据集上，该方法与近期发表的数据驱动拥堵检测方法相比，在性能和准确率方面表现如何？

主要发现

• 所提出的框架实现了90%的拥堵检测准确率，显著优于基线方法在计算效率方面的表现。
• 计算时间从基线的151小时减少至仅10分钟，降幅达99.88%，且使用相同的硬件资源。
• 在亚马逊Web服务（AWS）上的总处理成本从488美元降至1.34美元，显示出显著的成本节约。
• 该方法成功识别出重复性拥堵模式，德梅因环线在高峰时段表现出持续拥堵，如图5和图6的可视化结果所示。
• 权衡分析表明，准确率降低10%可带来99.88%的处理时间减少，凸显了系统强大的可扩展性与效率。
• 该框架在10分钟内处理了覆盖3,017个高速公路路段（1,570英里）的76 GB数据，证明了其高度可扩展性和近实时可行性。