[论文解读] Learning Structure in Nested Logit Models

Youssef M Aboutaleb, Moshe Ben‐Akiva+1 more|arXiv (Cornell University)|Aug 18, 2020

Machine Learning and Algorithms参考文献 33被引用 4

一句话总结

该论文提出了一种数据驱动的优化框架，通过混合整数非线性规划（MINLP）学习嵌套对数几率模型中的最优嵌套结构，利用树状结构搜索和外逼近法识别最优的替代品层次结构。该方法在合成数据中成功恢复了真实结构，并在经验交通选择数据中优于基于直觉的模型，相较于传统方法展现出更高的准确性和统计稳健性。

ABSTRACT

This paper introduces a new data-driven methodology for nested logit structure discovery. Nested logit models allow the modeling of positive correlations between the error terms of the utility specifications of the different alternatives in a discrete choice scenario through the specification of a nesting structure. Current nested logit model estimation practices require an a priori specification of a nesting structure by the modeler. In this we work we optimize over all possible specifications of the nested logit model that are consistent with rational utility maximization. We formulate the problem of learning an optimal nesting structure from the data as a mixed integer nonlinear programming (MINLP) optimization problem and solve it using a variant of the linear outer approximation algorithm. We exploit the tree structure of the problem and utilize the latest advances in integer optimization to bring practical tractability to the optimization problem we introduce. We demonstrate the ability of our algorithm to correctly recover the true nesting structure from synthetic data in a Monte Carlo experiment. In an empirical illustration using a stated preference survey on modes of transportation in the U.S. state of Massachusetts, we use our algorithm to obtain an optimal nesting tree representing the correlations between the unobserved effects of the different travel mode choices. We provide our implementation as a customizable and open-source code base written in the Julia programming language.

研究动机与目标

• 为解决嵌套对数几率模型中缺乏系统性方法来选择最优嵌套结构的问题，这些结构通常通过主观或临时性的领域推理来确定。
• 开发一种数据驱动的方法，在效用最大化约束下联合优化嵌套树结构和模型参数。
• 通过利用树状结构和先进的整数优化技术，克服在所有可能嵌套结构中搜索的计算不可行性。
• 为研究人员和从业者提供一种实用的、开源的Julia实现，以将其应用于现实世界的离散选择数据。
• 证明在经验设置中，数据学习的结构优于基于直觉的嵌套配置。

提出的方法

• 将嵌套对数几率结构学习问题（NLSLP）表述为在所有有效嵌套树结构上的混合整数非线性规划（MINLP）问题。
• 使用线性外逼近算法的一种变体求解MINLP，实现全局最优解的收敛。
• 利用嵌套的分层树结构分解问题，并应用惰性约束生成以提高计算效率。
• 采用最先进的混合整数优化求解器，以处理树枚举带来的组合复杂性。
• 通过参数M和L引入正则化，以控制模型复杂度并防止训练过程中的过拟合。
• 通过在合成数据上的蒙特卡洛实验验证该算法，并将其应用于马萨诸塞州出行方式选择的陈述偏好调查数据。

实验结果

研究问题

• RQ1 数据驱动的优化框架能否在合成数据中可靠地恢复嵌套对数几率模型中的真实嵌套结构？
• RQ2 在现实世界的离散选择应用中，数据学习的嵌套结构与基于直觉的嵌套配置相比表现如何？
• RQ3 最优嵌套结构在多大程度上依赖于模型中的系统性效用设定？
• RQ4 所提出的基于MINLP的方法能否在保持计算可行性的同时扩展到实际问题规模？
• RQ5 所学习的结构是否揭示了替代品的有意义行为分组，例如“主动”或“传统”出行方式？

主要发现

• 在合成数据的100%蒙特卡洛试验中，该算法成功恢复了真实嵌套结构，显示出在结构发现方面的高准确性。
• 在马萨诸塞州出行方式的经验数据集中，所学习的模型显著优于多项式对数几率模型以及两种基于直觉的嵌套对数几率模型（模型A和模型B）。
• 最优嵌套树识别出四个巢穴和五个嵌套层级，最终简化结构将步行和自行车归类为“主动”模式，置于更广泛的“传统”模式巢穴中。
• 统计检验表明，巢穴n₁的尺度参数（1.215）与根节点（归一化为1）无显著差异，因此可将其合并至根节点，从而简化模型。
• 类似地，巢穴n₃与n₂在统计上无显著差异，因此被合并至n₂，进一步简化了最终的树结构。
• 最终模型表明，出行者对步行和自行车的出行时间最为敏感，且公交月票和市中心出行显著提高了选择公共交通或骑行而非驾车的可能性。