[论文解读] Automated machine learning: AI-driven decision making in business analytics

Marc Schmitt|arXiv (Cornell University)|May 21, 2022

Machine Learning and Data Classification被引用 11

一句话总结

本文评估了H2O AutoML在商业分析中的应用，表明其通过自动化模型选择和超参数调优，使非专家也能实现接近专业水平的机器学习性能。尽管在三个真实世界案例研究中，人工调优的模型表现更优，但H2O AutoML以极低的专业知识门槛实现了快速、可靠的结果，显著加速了原型开发并缩短了部署周期。

ABSTRACT

The realization that AI-driven decision-making is indispensable in today's fast-paced and ultra-competitive marketplace has raised interest in industrial machine learning (ML) applications significantly. The current demand for analytics experts vastly exceeds the supply. One solution to this problem is to increase the user-friendliness of ML frameworks to make them more accessible for the non-expert. Automated machine learning (AutoML) is an attempt to solve the problem of expertise by providing fully automated off-the-shelf solutions for model choice and hyperparameter tuning. This paper analyzed the potential of AutoML for applications within business analytics, which could help to increase the adoption rate of ML across all industries. The H2O AutoML framework was benchmarked against a manually tuned stacked ML model on three real-world datasets. The manually tuned ML model could reach a performance advantage in all three case studies used in the experiment. Nevertheless, the H2O AutoML package proved to be quite potent. It is fast, easy to use, and delivers reliable results, which come close to a professionally tuned ML model. The H2O AutoML framework in its current capacity is a valuable tool to support fast prototyping with the potential to shorten development and deployment cycles. It can also bridge the existing gap between supply and demand for ML experts and is a big step towards automated decisions in business analytics. Finally, AutoML has the potential to foster human empowerment in a world that is rapidly becoming more automated and digital.

研究动机与目标

• 评估自动化机器学习（AutoML）在提升各行业机器学习采用率方面的潜力。
• 应对商业分析领域对机器学习专家的需求与供给之间日益扩大的差距。
• 在真实世界数据集上，将H2O AutoML与人工调优模型进行基准对比，以评估其性能与可用性。
• 评估AutoML在商业应用中加速原型开发并缩短开发周期的作用。
• 探索AutoML如何赋能非专家，并在日益自动化的商业环境中支持人工智能驱动的决策制定。

提出的方法

• 本研究采用H2O AutoML框架，在三个真实世界商业分析数据集上自动化执行模型选择与超参数调优。
• 针对每个数据集，开发了一个人工调优的堆叠集成模型作为性能基准。
• 使用标准回归指标（包括决定系数R-squared和均方误差）评估模型性能。
• AutoML流程配置为默认设置，以反映非专家在真实场景中的可用性。
• 通过实验比较AutoML与人工优化模型在预测性能和训练时间方面的差异。
• 评估框架在速度、易用性以及生成可投入生产的模型方面的可靠性。

实验结果

研究问题

• RQ1 H2O AutoML在真实世界商业分析任务中，能否实现与人工调优的堆叠集成模型相媲美甚至更具竞争力的性能？
• RQ2 AutoML在多大程度上减少了模型开发与调优过程中对专家干预的需求？
• RQ3 AutoML如何影响商业分析应用中的开发与部署周期？
• RQ4 AutoML在哪些方面能够支持非专家实现可靠的机器学习结果？
• RQ5 在商业分析工作流中，性能与自动化之间存在何种权衡？

主要发现

• 在所有三个案例研究中，人工调优的堆叠模型均表现出更优的性能，凸显了专家级调优的优势。
• H2O AutoML在所有数据集上均提供了可靠且一致的结果，且用户输入与配置极少。
• AutoML框架显著缩短了开发时间，实现了快速原型开发，从而缩短了部署周期。
• H2O AutoML表现出速度快、易用性强的特点，使非专家能够轻松使用，同时不牺牲模型质量。
• 尽管性能略低于人工调优模型，但AutoML的结果已足够接近，可满足许多商业应用的需求。
• 本研究证实，AutoML能够弥合机器学习供需之间的差距，推动其在工业界的更广泛应用。