[论文解读] Rethinking travel behavior modeling representations through embeddings

Francisco C. Pereira|arXiv (Cornell University)|Aug 31, 2019

Human Mobility and Location-Based Analysis参考文献 7被引用 10

一句话总结

本文提出了一种出行行为嵌入方法——一种基于数据驱动的神经网络方法，用于在连续的低维潜在空间中表示分类出行行为变量（例如出行方式、出行目的、教育水平）。与传统的虚拟变量编码或主成分分析（PCA）编码不同，该方法能够捕捉细微的语义关系，并在样本外测试中使模型的对数似然值提升高达60%，同时保持可解释性，并支持跨数据集的迁移学习。

ABSTRACT

This paper introduces the concept of travel behavior embeddings, a method for re-representing discrete variables that are typically used in travel demand modeling, such as mode, trip purpose, education level, family type or occupation. This re-representation process essentially maps those variables into a latent space called the \emph{embedding space}. The benefit of this is that such spaces allow for richer nuances than the typical transformations used in categorical variables (e.g. dummy encoding, contrasted encoding, principal components analysis). While the usage of latent variable representations is not new per se in travel demand modeling, the idea presented here brings several innovations: it is an entirely data driven algorithm; it is informative and consistent, since the latent space can be visualized and interpreted based on distances between different categories; it preserves interpretability of coefficients, despite being based on Neural Network principles; and it is transferrable, in that embeddings learned from one dataset can be reused for other ones, as long as travel behavior keeps consistent between the datasets. The idea is strongly inspired on natural language processing techniques, namely the word2vec algorithm. Such algorithm is behind recent developments such as in automatic translation or next word prediction. Our method is demonstrated using a model choice model, and shows improvements of up to 60\% with respect to initial likelihood, and up to 20% with respect to likelihood of the corresponding traditional model (i.e. using dummy variables) in out-of-sample evaluation. We provide a new Python package, called PyTre (PYthon TRavel Embeddings), that others can straightforwardly use to replicate our results or improve their own models. Our experiments are themselves based on an open dataset (swissmetro).

研究动机与目标

• 为解决传统分类变量编码方法（如虚拟变量、主成分分析）在出行需求建模中的局限性，这些方法通常强制正交性，且无法捕捉语义关系。
• 开发一种基于数据驱动、可解释且可迁移的表示方法，用于出行行为建模中的分类变量（如出行方式、出行目的、教育水平）
• 证明基于神经网络的嵌入方法在预测性能上优于标准编码技术，同时保持系数的可解释性。
• 通过在不同数据集之间重用一个数据集上训练的嵌入表示，实现跨数据集的兼容性，前提是出行行为模式保持一致。
• 提供一个可重用的开源框架（PyTre），以促进出行行为建模领域中的应用与社区协作开发。

提出的方法

• 将自然语言处理（NLP）中的word2vec原理应用于出行行为建模，训练神经网络以学习分类变量的密集向量表示（即嵌入）
• 采用监督学习设置，模型基于嵌入的分类输入预测目标变量（如出行方式选择），并通过反向传播端到端训练嵌入层
• 将每个类别（如“学生”、“在职”）表示为学习得到的潜在空间中的密集向量，其中语义相似性通过向量间的接近程度体现
• 使用交叉熵损失函数训练嵌入层，最终层为用于选择模型的softmax分类器
• 通过正则化和早停策略防止过拟合，并利用验证集选择最佳模型运行结果，以应对该方法固有的随机性
• 通过在另一数据集上重用一个数据集上预训练的嵌入表示，实现迁移学习，前提是各数据集间的行为模式保持一致

实验结果

研究问题

• RQ1 与传统的虚拟变量编码相比，基于神经网络的嵌入方法是否能提升出行需求模型的预测性能？
• RQ2 嵌入在多大程度上能够捕捉分类变量之间的有意义语义关系（例如，“学生”与“在职”之间的相似性高于“学生”与“退休”之间）？
• RQ3 嵌入是否可跨数据集迁移，实现在无需从头训练的情况下复用学习到的表示？
• RQ4 基于嵌入的模型与传统虚拟变量模型相比，其模型系数的可解释性如何？
• RQ5 数据集规模和类别分布对基于嵌入模型的稳定性与性能有何影响？

主要发现

• 基于嵌入的模型在样本外测试中，对数似然值相比初始模型最高提升60%，显著优于传统的虚拟变量编码
• 在样本外评估中，该方法的似然值比使用虚拟变量的对应传统模型最高高出20%
• 由于训练过程具有随机性，不同运行结果间性能存在差异，300次运行的测试对数似然值在-1365.0至-1466.0之间波动，因此需借助验证集进行仔细的模型选择
• 嵌入方法保持了可解释性，使得尽管基于神经网络，其系数仍可进行有意义的分析
• 该方法展示了良好的可迁移性：在行为模式一致的前提下，一个数据集上训练的嵌入可被成功复用于另一数据集
• 所提出的PyTre Python工具包支持结果的轻松复现与扩展，有助于推动共享嵌入资源的社区协作开发