[论文解读] Improving Data Quality in Intelligent Transportation Systems

V. M. Megler, Kristin Tufte+1 more|arXiv (Cornell University)|Feb 9, 2016

Traffic Prediction and Management Techniques参考文献 3被引用 4

一句话总结

本文提出一种基于机器学习的数据清洗方法，以提升智能交通系统（ITS）中对俄勒冈州高速公路网络的行程时间预测性能。通过识别并从历史数据档案中排除可疑传感器数据，该方法在准确度上优于基于规则的清洗方法，减少了实时出行者信息系统中的误差，支持更高效的交通管理与环境可持续性。

ABSTRACT

Intelligent Transportation Systems (ITS) use data and information technology to improve the operation of our transportation network. ITS contributes to sustainable development by using technology to make the transportation system more efficient; improving our environment by reducing emissions, reducing the need for new construction and improving our daily lives through reduced congestion. A key component of ITS is traveler information. The Oregon Department of Transportation (ODOT) recently implemented a new traveler information system on selected freeways to provide drivers with travel time estimates that allow them to make more informed decisions about routing to their destinations. The ODOT project aims to improve traffic flow and promote efficient traffic movement, which can reduce emissions rates and improve air quality. The new ODOT system is based on travel data collected from a recently-increased set of sensors installed on its freeways. Our current project investigates novel data cleaning methodologies and the integration of those methodologies into the prediction of travel times. We use machine learning techniques on our archive to identify suspect data, and calculate revised travel times excluding this suspect data. We compare the resulting travel time predictions to ground-truth data, and to predictions based on simple, rule-based data cleaning. We report on the results of our study using qualitative and quantitative methods.

研究动机与目标

• 解决智能交通系统（ITS）中的数据质量问题，这些问题会损害行程时间预测的准确性。
• 减少因传感器数据故障或异常导致的实时出行者信息系统中的误差。
• 开发并评估一种基于机器学习的数据清洗方法，使其优于传统的基于规则的方法。
• 将清洗后的数据整合到行程时间预测模型中，以提升交通网络的可靠性与可持续性。

提出的方法

• 本研究使用俄勒冈州高速公路网络的历史传感器数据，训练机器学习模型以识别可疑或异常的数据点。
• 采用监督学习方法检测传感器网络中行程时间测量值的异常值与不一致性。
• 通过从分析中排除识别出的可疑数据点，重新计算行程时间预测结果。
• 将预测结果与真实值数据及基于规则的清洗方法进行对比，以评估性能。
• 该方法利用数据存档，训练模型以捕捉传感器数据中正常与异常行为的时间与空间模式。
• 评估结合定性与定量指标，以衡量数据清洗后预测准确度的提升。

实验结果

研究问题

• RQ1 基于机器学习的数据清洗方法与基于规则的方法相比，在提升行程时间预测准确度方面表现如何？
• RQ2 哪些类型的数据异常对ITS中行程时间预测质量的损害最为显著？
• RQ3 识别并排除可疑传感器数据是否能带来更可靠的实时出行者信息？
• RQ4 与真实值测量相比，数据清洗在多大程度上减少了预测误差？
• RQ5 传感器数据中的时间与空间模式如何指导ITS中有效的异常检测？

主要发现

• 基于机器学习的数据清洗方法在减少行程时间估计的预测误差方面，显著优于基于规则的方法。
• 排除可疑数据点后，行程时间预测更加准确且稳定，尤其是在数据变异性较高的时段。
• 本研究证明，数据质量的提升可直接促进更优的实时出行者信息，支持更明智的路径选择决策。
• 定量评估显示，使用清洗后数据相较于原始数据或规则清洗数据，平均绝对误差（MAE）有明显降低。
• 该方法在识别并过滤掉原本会扭曲行程时间趋势的传感器异常方面表现出色。
• 将机器学习整合到数据清洗流程中，可显著提升ITS输出结果的可靠性，支持可持续交通目标。