[论文解读] A Neural-embedded Choice Model: TasteNet-MNL Modeling Taste Heterogeneity with Flexibility and Interpretability

Yafei Han, Francisco C. Pereira+2 more|arXiv (Cornell University)|Feb 3, 2020

Economic and Environmental Valuation被引用 12

一句话总结

本文提出TasteNet-MNL，一种基于神经网络嵌入的离散选择模型，通过深度神经网络（TasteNet）在多项Logit（MNL）框架下学习灵活且可解释的偏好异质性，即个体特征如何影响效用参数。该模型在合成数据和真实世界数据上均实现了最先进水平的预测性能，同时能准确恢复个体层面的“时间价值”和弹性估计，优于标准MNL和混合Logit模型。

ABSTRACT

Discrete choice models (DCMs) require a priori knowledge of the utility functions, especially how tastes vary across individuals. Utility misspecification may lead to biased estimates, inaccurate interpretations and limited predictability. In this paper, we utilize a neural network to learn taste representation. Our formulation consists of two modules: a neural network (TasteNet) that learns taste parameters (e.g., time coefficient) as flexible functions of individual characteristics; and a multinomial logit (MNL) model with utility functions defined with expert knowledge. Taste parameters learned by the neural network are fed into the choice model and link the two modules. Our approach extends the L-MNL model (Sifringer et al., 2020) by allowing the neural network to learn the interactions between individual characteristics and alternative attributes. Moreover, we formalize and strengthen the interpretability condition - requiring realistic estimates of behavior indicators (e.g., value-of-time, elasticity) at the disaggregated level, which is crucial for a model to be suitable for scenario analysis and policy decisions. Through a unique network architecture and parameter transformation, we incorporate prior knowledge and guide the neural network to output realistic behavior indicators at the disaggregated level. We show that TasteNet-MNL reaches the ground-truth model's predictability and recovers the nonlinear taste functions on synthetic data. Its estimated value-of-time and choice elasticities at the individual level are close to the ground truth. On a publicly available Swissmetro dataset, TasteNet-MNL outperforms benchmarking MNLs and Mixed Logit model's predictability. It learns a broader spectrum of taste variations within the population and suggests a higher average value-of-time.

研究动机与目标

• 解决离散选择模型（DCMs）中效用函数误设的问题，该问题会导致估计偏差和预测性能下降。
• 通过确保现实、个体层面的行为指标（如时间价值、弹性）的可解释性，提升基于机器学习的DCMs的可解释性。
• 开发一种混合模型，结合神经网络的预测能力与MNL模型的理论可解释性。
• 在不依赖预设函数形式的前提下，实现对非线性偏好异质性的准确建模。
• 为交通及相关领域中的个体选择行为建模提供可扩展、可泛化的框架。

提出的方法

• 采用双模块架构：神经网络（TasteNet）学习基于个体特征的效用参数的灵活、数据驱动的表示。
• TasteNet的输出被嵌入到参数化MNL模型中，其中效用函数由专家知识定义，而神经网络的预测结果则用于描述偏好差异。
• 采用新颖的网络架构与参数变换，通过引导网络在个体层面生成现实的行为指标，以实现可解释性。
• 使用选择数据端到端训练模型，通过正则化防止过拟合，并通过多次随机初始化实现不确定性量化。
• 通过强制要求估计的经济指标（如VOT、弹性）在个体层面保持在合理范围内，形式化并强化了可解释性。
• 在具有已知真实偏好函数的合成数据以及公开的瑞士高速列车（Swissmetro）数据集上验证了该方法。

实验结果

研究问题

• RQ1 神经网络能否在保持行为指标可解释性的同时，学习离散选择模型中复杂的非线性偏好异质性？
• RQ2 与传统的MNL和混合Logit模型相比，TasteNet-MNL在预测准确性和行为一致性方面的表现如何？
• RQ3 在已知数据生成过程的合成数据中，TasteNet-MNL在多大程度上能恢复真实的时间价值和选择弹性估计？
• RQ4 与基准MNL模型相比，TasteNet-MNL在真实世界数据中是否能发现更广泛且更现实的偏好差异？
• RQ5 在分布外样本中，模型面临何种分布偏移风险？如何量化估计结果的不确定性？

主要发现

• 在合成数据上，TasteNet-MNL的预测准确率与真实模型相当，并以高保真度恢复了真实的非线性偏好函数。
• TasteNet-MNL估计的个体层面时间价值和选择弹性接近真实值，而效用函数误设的MNL模型则表现出显著偏差。
• 在瑞士高速列车数据集上，TasteNet-MNL在预测准确率方面优于基准MNL模型和混合Logit模型，且具有更高的样本外似然值。
• TasteNet-MNL估计的平均时间价值更高，并比标准MNL模型捕捉到更广泛的收入群体间偏好差异。
• TasteNet-MNL估计的选择弹性处于合理范围内，且在不同收入群体间表现出更细致的差异，表明其行为现实性有所提升。
• 该模型在分布外样本上表现出较大的估计误差，凸显了不确定性量化和与基线模型进行系统性合理性检查的必要性。