[论文解读] Artificial Neural Networks Applied to Taxi Destination Prediction

Alexandre de Brébisson, Étienne Simon+3 more|arXiv (Cornell University)|Jul 31, 2015

Natural Language Processing Techniques参考文献 3被引用 140

一句话总结

本文提出了一种几乎全自动的神经网络方法，利用早期轨迹片段和元数据预测出租车目的地。优胜模型采用带有目的地聚类和嵌入的多层感知机，私有Kaggle测试集得分1.87，超越了380支参赛队伍，在ECML/PKDD挑战赛中排名第一。

ABSTRACT

We describe our first-place solution to the ECML/PKDD discovery challenge on taxi destination prediction. The task consisted in predicting the destination of a taxi based on the beginning of its trajectory, represented as a variable-length sequence of GPS points, and diverse associated meta-information, such as the departure time, the driver id and client information. Contrary to most published competitor approaches, we used an almost fully automated approach based on neural networks and we ranked first out of 381 teams. The architectures we tried use multi-layer perceptrons, bidirectional recurrent neural networks and models inspired from recently introduced memory networks. Our approach could easily be adapted to other applications in which the goal is to predict a fixed-length output from a variable-length sequence.

研究动机与目标

• 开发一种全自动、端到端的神经网络模型，基于部分GPS轨迹和元数据预测出租车目的地。
• 通过依赖神经网络架构直接从原始数据学习表征，最小化人工特征工程。
• 评估多种深度学习架构（MLP、RNN、双向RNN、记忆网络）在相同预测任务上的性能表现。
• 证明基于聚类的输出层和学习到的嵌入能显著提升预测准确率。
• 提供可复现、可扩展的解决方案，适用于输入长度可变的序列到序列预测任务。

提出的方法

• 使用单个隐藏层（500个ReLU神经元）的多层感知机（MLP）处理轨迹前缀和元数据的固定长度表征。
• 输入向量通过拼接每个轨迹前缀的前五个和后五个GPS点构建，并标准化为零均值和单位方差。
• 输出层采用目的地聚类，使预测结果被限制在学习到的聚类中心，从而减小输出空间并提升泛化能力。
• 对出发时间（一天中的时段）和一年中的周数等分类元数据应用学习到的嵌入，使模型能够捕捉时间模式。
• 探索了双向RNN和记忆网络作为替代方案，后者采用基于输入向量与记忆向量相似性的候选检索机制。
• 所有模型均使用Theano在GPU上训练，超参数通过在大于竞赛测试集的自定义测试集上进行验证进行调优。

实验结果

研究问题

• RQ1 完全端到端的神经网络方法是否能在出租车目的地预测任务中超越手工设计特征的方法？
• RQ2 在具有结构化元数据的可变长度序列预测任务中，不同神经网络架构（MLP、RNN、记忆网络）的性能表现如何比较？
• RQ3 与直接回归相比，学习到的嵌入和目的地聚类在多大程度上提升了预测准确率？
• RQ4 为何结构更简单的MLP结合聚类方法在竞赛测试集上优于更复杂的模型（如双向RNN和记忆网络）？
• RQ5 竞赛测试集具有多大代表性？在更大规模的自定义测试集上，结果有何不同？

主要发现

• 优胜模型（带目的地聚类的MLP）在私有测试集上取得1.87的得分，在ECML/PKDD挑战赛381支队伍中排名第一。
• 使用时间窗口机制的双向RNN在自定义测试集上表现最佳，得分2.06，表明其在更大数据集上具有更优的泛化能力。
• 时间（时段）和周数的嵌入显著提升了模型性能，t-SNE可视化结果清晰显示了聚类模式。
• 仅使用嵌入（无聚类或直接输出）的模型在私有测试集上得分为4.29，表明聚类对准确预测至关重要。
• 竞赛测试集较小且可能存在偏差，自定义测试集得分更高，表明竞赛基准结果可能无法完全反映模型的鲁棒性。
• 记忆网络模型在私有测试集上得分为2.20，但未训练至收敛，表明通过更长训练仍有进一步提升空间。