[论文解读] Deep Learning for Choice Modeling

Zhongze Cai, Hanzhao Wang+2 more|arXiv (Cornell University)|Aug 19, 2022

Economic and Environmental Valuation被引用 6

一句话总结

本文提出了一种基于深度学习的选择模型，适用于无特征和有特征的场景，利用神经网络同时捕捉内在效用和产品组合效应。所提出的 Gated-Assort-Net 和 Res-Assort-Net 架构在样本效率和计算效率方面表现更优，相较于 MLE、EM 和基于 LP 的传统方法，在恢复选择模型及处理具有复杂组合依赖关系的真实数据方面表现更佳。

ABSTRACT

Choice modeling has been a central topic in the study of individual preference or utility across many fields including economics, marketing, operations research, and psychology. While the vast majority of the literature on choice models has been devoted to the analytical properties that lead to managerial and policy-making insights, the existing methods to learn a choice model from empirical data are often either computationally intractable or sample inefficient. In this paper, we develop deep learning-based choice models under two settings of choice modeling: (i) feature-free and (ii) feature-based. Our model captures both the intrinsic utility for each candidate choice and the effect that the assortment has on the choice probability. Synthetic and real data experiments demonstrate the performances of proposed models in terms of the recovery of the existing choice models, sample complexity, assortment effect, architecture design, and model interpretation.

研究动机与目标

• 为解决现有选择模型学习方法存在的计算不可行或样本效率低下的局限性。
• 开发能够同时学习产品内在效用及组合构成对选择概率影响的深度学习模型。
• 实现在无特征和有特征设置下的有效学习，包括无产品或客户特征的情况。
• 在保持高预测性能的同时提升模型的可解释性与校准性。
• 证明单一神经网络架构可高保真地恢复从 MNL 到复杂非参数及马尔可夫链模型的多样化选择模型。

提出的方法

• 提出两种新颖的神经网络架构：Gated-Assort-Net 和 Res-Assort-Net，旨在建模个体产品效用与组合层面的交互作用。
• 使用全连接层处理输入组合，并应用可学习变换以捕捉非线性效用交互。
• 引入门控机制与残差连接，以稳定训练过程并提升组合效应的表征学习能力。
• 采用交叉熵损失进行端到端训练，优化在多样化组合配置下的选择概率预测准确性。
• 应用自适应分箱与 ACE（自适应期望校准误差）评估模型在概率预测上的校准性能。
• 在合成数据及真实世界数据集（如 SwissMetro、Expedia、酒店数据）上进行训练，无论是否包含特征，以验证模型的泛化能力。

实验结果

研究问题

• RQ1 单一深度学习架构能否有效恢复从简单（如 MNL）到复杂（如 MCCM、NP）的选择模型？
• RQ2 与经典方法（MLE、EM、LP）相比，所提模型在样本效率与计算可扩展性方面表现如何？
• RQ3 在不依赖产品或客户特征的情况下，模型在多大程度上能捕捉组合效应——即所供产品集合如何影响选择概率？
• RQ4 当特征有限或不可用时，模型在真实世界数据上的泛化能力如何？
• RQ5 与现有方法相比，基于深度学习的选择模型的校准性能如何？

主要发现

• 在合成数据与真实数据集上，Gated-Assort-Net(f) 和 Res-Assort-Net(f) 的样本外交叉熵损失均低于 MLE、EM 和基于 LP 的方法。
• 在 SwissMetro 和 Expedia 数据集上，Gated-Assort-Net(f) 的 ACE 校准误差分别为 4.67×10⁻² 和 0.39，优于 MNL(f)-MLE 及其他基线模型。
• 在无特征的酒店数据上，Gated-Assort-Net 与 Res-Assort-Net 在 Hotel 1 和 Hotel 3 上优于 MCCM-EM，表明在样本量较大时，神经网络能充分发挥其容量优势。
• 模型展现出强大的泛化能力：单一架构可高保真地恢复 MNL、MCCM 与非参数选择模型。
• 模型保持良好的校准性能，多数数据集上的 ACE 误差低于 0.5，表明其概率预测可靠。
• 当样本量较小时（如 Hotel 2、4、5），MNL-MLE 或 MCCM-EM 等简单模型仍更优，凸显了充分数据对释放深度学习优势的必要性。