[论文解读] Deep Learning in Business Analytics: A Clash of Expectations and Reality

Marc Andreas Schmitt|arXiv (Cornell University)|May 19, 2022

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 17

一句话总结

本文研究了深度学习（DL）在商业分析中高期望与实际表现之间的不匹配问题，表明在结构化、固定长度的表格数据上，深度学习的表现不如传统机器学习模型，尤其是梯度提升模型。研究结论认为，深度学习应被视为一种补充工具，而非万能解决方案，而梯度 boosting 在大多数涉及结构化数据的商业分析任务中表现更优。

ABSTRACT

Our fast-paced digital economy shaped by global competition requires increased data-driven decision-making based on artificial intelligence (AI) and machine learning (ML). The benefits of deep learning (DL) are manifold, but it comes with limitations that have, so far, interfered with widespread industry adoption. This paper explains why DL, despite its popularity, has difficulties speeding up its adoption within business analytics. It is shown that the adoption of deep learning is not only affected by computational complexity, lacking big data architecture, lack of transparency (black-box), skill shortage, and leadership commitment, but also by the fact that DL does not outperform traditional ML models in the case of structured datasets with fixed-length feature vectors. Deep learning should be regarded as a powerful addition to the existing body of ML models instead of a one size fits all solution. The results strongly suggest that gradient boosting can be seen as the go-to model for predictions on structured datasets within business analytics. In addition to the empirical study based on three industry use cases, the paper offers a comprehensive discussion of those results, practical implications, and a roadmap for future research.

研究动机与目标

• 调查尽管广受欢迎，为何深度学习在商业分析中的应用仍受限制。
• 比较深度学习模型与传统机器学习模型在结构化商业数据集上的表现。
• 识别阻碍深度学习在工业中应用的关键障碍，如计算复杂性、缺乏透明度以及人才短缺。
• 为在商业分析场景中何时以及如何应用深度学习与其他机器学习模型提供基于证据的指导。
• 提出未来在结构化数据环境中研究深度学习的路线图。

提出的方法

• 使用三个涉及结构化表格数据集的真实工业用例进行实证评估。
• 实现并比较深度学习模型（如前馈神经网络）与传统机器学习模型，特别是梯度提升（XGBoost、LightGBM）。
• 在所有模型中应用标准化的数据预处理和特征工程，以确保公平比较。
• 使用标准的回归与分类指标（如RMSE、AUC-ROC）在保留的测试集上评估模型性能。
• 分析模型可解释性、训练时间与资源需求，以评估实际可行性。
• 对组织与技术层面阻碍深度学习在商业环境中应用的定性讨论。

实验结果

研究问题

• RQ1 在具有固定长度特征向量的结构化商业数据集上，深度学习是否优于传统机器学习模型？
• RQ2 限制深度学习在商业分析中应用的主要技术和组织障碍是什么？
• RQ3 模型可解释性、计算成本与数据基础设施等因素如何影响深度学习在工业中的实际部署？
• RQ4 在哪些场景下，梯度提升在预测性能上超越深度学习，适用于商业分析任务？
• RQ5 这些发现对数据驱动决策中的模型选择与组织战略有何影响？

主要发现

• 在涉及结构化表格数据的三个工业用例中，深度学习模型在任何一项上均未超越梯度提升模型的表现。
• 梯度提升在所有评估指标中均表现出一致的优越预测性能，包括RMSE与AUC-ROC。
• 与梯度提升相比，深度学习模型需要显著更多的计算资源与更长的训练时间。
• 即使性能相当，深度学习模型缺乏可解释性且具有‘黑箱’特性，这使业务利益相关者深感担忧。
• 组织性障碍——如人才短缺、领导层抵制以及数据基础设施不足——被确认为深度学习采用的主要抑制因素。
• 本研究结论认为，深度学习不应被视为‘一刀切’的解决方案，而应作为专门工具，最好与XGBoost、LightGBM等成熟模型协同使用。