[论文解读] Fast Estimation of Multinomial Logit Models: R Package mnlogit

Asad Hasan, Zhiyu Wang+1 more|arXiv (Cornell University)|Apr 11, 2014

Statistical Methods and Inference参考文献 20被引用 18

一句话总结

本文介绍了 R 包 mnlogit，通过在牛顿-拉夫森优化中利用结构化和稀疏矩阵技术优化海塞矩阵计算，显著加速了多项对数几率模型的估计。在单核系统上实现了 10 倍至 50 倍的性能提升，通过 OpenMP 并行化在 8 核系统上额外获得最高 4 倍的加速，显著优于现有 R 包（如 mlogit 和 nnet），适用于大规模离散选择建模。

ABSTRACT

We present R package mnlogit for training multinomial logistic regression models, particularly those involving a large number of classes and features. Compared to existing software, mnlogit offers speedups of 10x-50x for modestly sized problems and more than 100x for larger problems. Running mnlogit in parallel mode on a multicore machine gives an additional 2x-4x speedup on up to 8 processor cores. Computational efficiency is achieved by drastically speeding up calculation of the log-likelihood function's Hessian matrix by exploiting structure in matrices that arise in intermediate calculations.

研究动机与目标

• 解决由于牛顿-拉夫森方法中每次迭代成本过高，导致大规模多项对数几率模型估计存在计算瓶颈的问题。
• 开发一个高性能的 R 包，同时保持对计量经济学中常见多样数据类型和模型扩展的灵活性。
• 通过利用海塞矩阵计算中的矩阵结构和稀疏性，实现相对于现有 R 包（如 mlogit、nnet 和 VGAM）的显著性能提升。
• 通过优化数值算法，实现对包含数千个类别和特征的多项对数几率模型的高效最大似然估计。
• 提供用户友好的、基于公式的接口，支持个体特定和备选方案特定的数据格式。

提出的方法

• 通过利用海塞矩阵中间计算中的固有矩阵结构和稀疏性，优化牛顿-拉夫森算法。
• 实现一种自定义的海塞矩阵计算方法，通过代数简化重复的矩阵模式，避免冗余运算。
• 使用 OpenMP 将海塞矩阵和梯度计算并行化到多个 CPU 核心，实现在 8 核系统上最高 4 倍的加速。
• 设计一种与标准 R 建模语法兼容的公式接口，支持灵活指定个体特定和备选方案特定的预测变量。
• 将算法集成到 CRAN 上发布的 R 包中，支持向后兼容性，并针对大规模数据集进行性能调优。
• 使用不同类别数和特征数的合成数据，对 mlogit、nnet 和 VGAM 进行基准测试，验证性能提升。

实验结果

研究问题

• RQ1 通过利用海塞矩阵的固有结构特性，能否降低多项对数几率模型中牛顿-拉夫森优化的计算成本？
• RQ2 在中间计算中，海塞矩阵的稀疏性和矩阵结构能在多大程度上加速大规模多项对数几率估计中的海塞矩阵评估？
• RQ3 在 R 中结合算法优化与共享内存并行化，能实现多大程度的性能提升？
• RQ4 与成熟的 R 包（如 mlogit、nnet 和 VGAM）相比，所提出的实现方法在大规模离散选择问题中的速度和准确性如何？
• RQ5 高性能的多项对数几率包能否在保持复杂计量经济学模型灵活性的同时，实现卓越的性能？

主要发现

• 通过利用矩阵结构优化海塞矩阵计算，mnlogit 在中等规模问题上相比 mlogit 实现了 10 倍至 50 倍的加速。
• 在更大规模问题上，mnlogit 相比 mlogit 实现了超过 100 倍的加速，表明其性能随问题规模具有良好的可扩展性。
• 使用 OpenMP 的并行执行在 8 核系统上提供了额外 2 倍至 4 倍的加速，与单核 mlogit 相比，总加速比最高可达 400 倍。
• 该包在性能上远超 nnet 和 VGAM，测试工作负载中 mnlogit 完成大规模问题的速度比 nnet 快最多 100 倍，比 VGAM 快最多 50 倍。
• 性能提升在不同数据格式（包括个体特定和备选方案特定预测变量）下均保持一致，证实了该方法的稳健性。
• 该包在支持复杂模型（如嵌套对数几率模型和异方差对数几率模型）方面与 mlogit 保持功能一致，同时性能更优。