[论文解读] A Neural Network Based Choice Model for Assortment Optimization

Hanzhao Wang, Zhongze Cai+2 more|arXiv (Cornell University)|Aug 10, 2023

Supply Chain and Inventory ManagementBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一种基于统一神经网络的选择模型，能够准确预测在各种情境下客户的购买概率，即使其潜在行为偏离标准模型。通过将紧凑的网络架构与混合整数规划（MIP）公式结合，该模型实现了高效的组合优化，在复杂或非理性选择行为下表现优于传统模型，同时对数据分布变化保持鲁棒性，并可扩展至约100种产品。

ABSTRACT

Discrete-choice models are used in economics, marketing and revenue management to predict customer purchase probabilities, say as a function of prices and other features of the offered assortment. While they have been shown to be expressive, capturing customer heterogeneity and behaviour, they are also hard to estimate, often based on many unobservables like utilities; and moreover, they still fail to capture many salient features of customer behaviour. A natural question then, given their success in other contexts, is if neural networks can eliminate the necessity of carefully building a context-dependent customer behaviour model and hand-coding and tuning the estimation. It is unclear however how one would incorporate assortment effects into such a neural network, and also how one would optimize the assortment with such a black-box generative model of choice probabilities. In this paper we investigate first whether a single neural network architecture can predict purchase probabilities for datasets from various contexts and generated under various models and assumptions. Next, we develop an assortment optimization formulation that is solvable by off-the-shelf integer programming solvers. We compare against a variety of benchmark discrete-choice models on simulated as well as real-world datasets, developing training tricks along the way to make the neural network prediction and subsequent optimization robust and comparable in performance to the alternates.

研究动机与目标

• 开发一种单一的神经网络架构，能够在多种行业和数据情境下建模多样的客户选择行为。
• 解决在使用黑箱神经网络进行选择预测时，如何实现组合优化的计算可处理性问题。
• 构建一种鲁棒且通用的选择模型，几乎无需专家调参，可作为元模型，通过超越或补充现有离散选择模型来发挥作用。
• 在基于已知选择模型生成的合成数据和具有复杂非理性行为的真实世界数据上，评估模型的性能。

提出的方法

• 该模型采用组合的二值化表示，并通过前馈神经网络学习选择概率；在基于特征的设定中，为产品和客户特征分别设置独立的特征编码器。
• 开发了一种混合整数规划（MIP）公式，以求解组合优化问题，从而在训练好的神经网络上实现精确的收益最大化。
• 使用标准反向传播算法和交叉熵损失函数训练网络，以从观测数据中预测选择概率。
• 提出一种新颖的训练策略——“最佳中的最佳”学习法：从一组基准模型中选择表现最佳的传统模型，然后利用该模型生成的合成数据对神经网络进行再训练和微调，以提升性能。
• 该方法结合了数据增强和微调技术，以增强泛化能力，特别是在训练数据有限的情况下。
• 通过在多种选择模型类型（MNL、马尔可夫链、混合Logit、非参数模型）和真实世界数据（包括一个公开的酒店数据集）上进行广泛模拟，对模型进行了评估。

实验结果

研究问题

• RQ1 一个单一的神经网络架构是否能够在不了解底层选择机制的情况下，准确恢复并泛化到多种已知的离散选择模型（如MNL、马尔可夫链、混合Logit）？
• RQ2 当客户行为偏离理性效用最大化时，基于神经网络的选择模型在组合优化中的表现如何，相较于传统模型有何优势？
• RQ3 在组合或客户行为的分布发生偏移时，该神经网络模型在多大程度上保持鲁棒性？
• RQ4 该神经网络模型是否可作为元模型，通过混合训练与选择策略，超越或补充现有选择模型？
• RQ5 所提出的基于MIP的优化框架的可扩展性上限是多少？在容量约束下，其与启发式方法相比表现如何？

主要发现

• 当训练数据足够时，单一神经网络架构能够有效恢复并泛化到多种已建立的选择模型，包括MNL、马尔可夫链和混合Logit模型。
• 在合成模拟中，当真实行为复杂或非理性时，神经选择模型在预测选择概率方面显著优于传统模型。
• 该模型在组合分布发生偏移时表现出强大的鲁棒性，即使测试数据与训练数据不同，仍能保持较高的预测准确性。
• 基于MIP的优化框架能够实现精确的收益最大化组合选择，且该神经网络模型与该方法结合后，优于启发式优化方法，尤其在容量受限时表现更优。
• 所提出的“最佳中的最佳”训练策略通过利用表现最佳的传统模型作为数据生成器，对神经网络进行预训练和微调，显著提升了模型性能。
• 由于MIP公式的存在，该方法可有效扩展至约100种产品，但进一步研究仍需探索如何将可扩展性扩展至该上限以上。