[论文解读] An Improved Deep Belief Network Model for Road Safety Analyses

Guangyuan Pan, Liping Fu+3 more|arXiv (Cornell University)|Dec 17, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用 5

一句话总结

本文提出了一种正则化深度置信网络（R-DBN）用于碰撞预测，结合无监督预训练与贝叶斯微调，以提高预测准确率并减少人工校准。在安大略省高速公路数据上的评估表明，R-DBN优于传统的负二项分布和核回归模型，表现出更优的性能且人工干预更少。

ABSTRACT

Crash prediction is a critical component of road safety analyses. A widely adopted approach to crash prediction is application of regression based techniques. The underlying calibration process is often time-consuming, requiring significant domain knowledge and expertise and cannot be easily automated. This paper introduces a new machine learning (ML) based approach as an alternative to the traditional techniques. The proposed ML model is called regularized deep belief network, which is a deep neural network with two training steps: it is first trained using an unsupervised learning algorithm and then fine-tuned by initializing a Bayesian neural network with the trained weights from the first step. The resulting model is expected to have improved prediction power and reduced need for the time-consuming human intervention. In this paper, we attempt to demonstrate the potential of this new model for crash prediction through two case studies including a collision data set from 800 km stretch of Highway 401 and other highways in Ontario, Canada. Our intention is to show the performance of this ML approach in comparison to various traditional models including negative binomial (NB) model, kernel regression (KR), and Bayesian neural network (Bayesian NN). We also attempt to address other related issues such as effect of training data size and training parameters.

研究动机与目标

• 开发一种机器学习模型，以减少传统碰撞预测方法中耗时的人工校准过程。
• 利用深度学习技术提升道路安全分析中的预测准确率。
• 评估所提出的正则化深度置信网络与负二项分布和核回归等成熟统计模型的性能表现。
• 研究训练数据规模和超参数对模型性能的影响。
• 证明在道路安全分析中，通过最少的领域专业知识即可实现碰撞预测自动化的可行性。

提出的方法

• 该模型采用两阶段训练流程：首先使用受限玻尔兹曼机（RBMs）进行无监督预训练，以初始化深度神经网络的权重。
• 其次，利用贝叶斯神经网络框架对网络进行微调，以预训练权重作为初始化，从而提升泛化能力与不确定性估计。
• 正则化组件有助于防止过拟合，并在训练过程中增强模型稳定性。
• 该方法结合了深度学习的分层特征提取能力，同时引入贝叶斯推断以实现稳健预测。
• 使用来自800公里401号高速公路及其他安大略省高速公路的真实碰撞数据评估模型性能。
• 通过标准评估指标，将模型与负二项分布、核回归和贝叶斯神经网络模型进行对比分析。

实验结果

研究问题

• RQ1 正则化深度置信网络能否在碰撞预测性能上优于传统统计模型？
• RQ2 与负二项分布和核回归模型相比，所提出的R-DBN模型在预测准确率和稳定性方面表现如何？
• RQ3 训练数据规模对R-DBN模型性能有何影响？
• RQ4 不同训练参数如何影响模型的预测能力与收敛性？
• RQ5 R-DBN在多大程度上可减少道路安全分析中对专家驱动校准的依赖？

主要发现

• 在安大略省高速公路数据集上，正则化深度置信网络在预测准确率上优于负二项分布、核回归和标准贝叶斯神经网络模型。
• 两阶段训练流程——无监督预训练后接贝叶斯微调——显著提升了模型泛化能力并减少了过拟合。
• 即使在不同规模的训练数据下，该模型也表现出稳健的性能，表明其具备良好的可扩展性与可靠性。
• 与基于回归的传统模型相比，R-DBN所需的人工调优和领域专业知识更少，支持其自动化潜力。
• 贝叶斯推断的整合增强了不确定性量化能力，使预测结果更具可解释性与可信度。
• 结果表明，结合正则化与贝叶斯微调的深度学习方法，是传统碰撞预测方法的可行且有效的替代方案。