[论文解读] Investigating performance of neural networks and gradient boosting models approximating microscopic traffic simulations in traffic optimization tasks

Paweł Góra, Maciej Brzeski+3 more|arXiv (Cornell University)|Dec 2, 2018

Data Visualization and Analytics参考文献 10被引用 4

一句话总结

本文研究了为何用于近似微观交通仿真以优化交通信号的神经网络和LightGBM模型在遗传算法找到的解上表现出显著更高的预测误差——尤其是在局部最优附近，尽管在随机测试集上泛化能力很强。研究识别出训练数据中这些区域代表性不足以及模型倾向于最小化近似误差是主要原因，并提出了主动学习和集成方法来缓解该问题。

ABSTRACT

We analyze the accuracy of traffic simulations metamodels based on neural networks and gradient boosting models (LightGBM), applied to traffic optimization as fitness functions of genetic algorithms. Our metamodels approximate outcomes of traffic simulations (the total time of waiting on a red signal) taking as an input different traffic signal settings, in order to efficiently find (sub)optimal settings. Their accuracy was proven to be very good on randomly selected test sets, but it turned out that the accuracy may drop in case of settings expected (according to genetic algorithms) to be close to local optima, which makes the traffic optimization process more difficult. In this work, we investigate 16 different metamodels and 20 settings of genetic algorithms, in order to understand what are the reasons of this phenomenon, what is its scale, how it can be mitigated and what can be potentially done to design better real-time traffic optimization methods.

研究动机与目标

• 研究机器学习代理模型（神经网络和LightGBM）在实时交通优化中近似交通仿真输出时的性能退化问题。
• 理解为何在遗传算法识别为近似最优的交通信号设置上，预测误差会增加，尽管在随机测试集上泛化能力很强。
• 分析模型架构（如激活函数）和遗传算法超参数对优化轨迹中误差分布的影响。
• 识别局部最优区域误差增加的原因，并为机器学习加速的交通优化在实际部署中提出缓解策略。
• 公开提供包含85,336次交通仿真评估的数据库，以促进交通仿真代理建模的进一步研究。

提出的方法

• 在使用交通仿真框架（TSF）生成的85,336个交通信号设置数据集上，训练了8个神经网络和8个LightGBM代理模型。
• 将代理模型用作遗传算法中的适应度函数，以最小化红灯等待时间总和来优化交通信号配时。
• 在随机测试集和从遗传算法轨迹中提取的设置上评估模型性能，特别关注最终（最佳）解的表现。
• 通过比较预测值与仿真等待时间进行误差分析，重点关注高精度区域的分布偏移。
• 应用主成分分析（PCA）以可视化不同代理模型下遗传算法的收敛模式。
• 提出缓解策略，包括主动学习（选择性地使用新生成的GA样本进行再训练）和集成学习（对多个模型的预测结果取平均）。

实验结果

研究问题

• RQ1 为何用于交通优化的机器学习代理模型在遗传算法找到的解上表现出显著高于随机测试集的预测误差？
• RQ2 神经网络中的超参数（如激活函数）如何影响优化轨迹中近似误差的分布和大小？
• RQ3 训练数据中局部最优交通信号设置的代表性不足，在多大程度上导致了这些区域误差的增加？
• RQ4 不同的代理模型（神经网络与LightGBM）是否会导致解空间中收敛点的差异，以及这对优化鲁棒性有何影响？
• RQ5 主动学习或集成方法能否有效降低局部最优区域高误差对实时交通优化中破坏性影响？

主要发现

• 代理模型在遗传算法找到的设置上的平均误差为2.16%，显著高于随机测试集上1.7%至2.0%的平均误差。
• 在16个模型中的14个，GA识别设置的最大误差超过12.9%，部分高达21.5%，表明在关键优化区域性能显著下降。
• 对于使用ReLU激活的神经网络，预测值始终低于仿真结果；而使用tanh激活的网络则表现出更对称的误差分布。
• 尽管误差增加，遗传算法仍能找到优于初始解的解，但因适应度函数估计不可靠，优化过程变得显著困难。
• 主成分分析显示，不同代理模型导致在解空间中收敛于不同区域，表明优化路径具有模型依赖性。
• 在局部最优附近误差增大的现象在神经网络和LightGBM中均普遍存在，但其规模和特征取决于模型特定的超参数（如激活函数）。