[论文解读] LightAutoML: AutoML Solution for a Large Financial Services Ecosystem

Anton Vakhrushev, Oleksandr S. Ryzhkov+4 more|arXiv (Cornell University)|Sep 3, 2021

Machine Learning and Data Classification参考文献 35被引用 6

一句话总结

LightAutoML 是一个为大型欧洲金融服务业生态系统设计的领域专用 AutoML 框架，专注于速度、可扩展性以及对复杂、非平稳数据工作流的支持。通过仅聚焦于梯度提升树和线性模型，并结合先进的预处理和动态超参数调优，该框架在模型质量上超越了通用型 AutoML 工具，与人类数据科学家表现相当或更优，同时将训练时间缩短至原来的 1/10，并节省了数百万美元的开发成本。

ABSTRACT

We present an AutoML system called LightAutoML developed for a large European financial services company and its ecosystem satisfying the set of idiosyncratic requirements that this ecosystem has for AutoML solutions. Our framework was piloted and deployed in numerous applications and performed at the level of the experienced data scientists while building high-quality ML models significantly faster than these data scientists. We also compare the performance of our system with various general-purpose open source AutoML solutions and show that it performs better for most of the ecosystem and OpenML problems. We also present the lessons that we learned while developing the AutoML system and moving it into production.

研究动机与目标

• 解决大型复杂金融服务业生态系统中独特的、特有的需求，包括多样化的数据源、非平稳流程以及高吞吐量的模型部署。
• 开发一种在生产环境中保持高性能的同时，显著缩短训练时间并降低运营成本的 AutoML 系统。
• 构建一个轻量、快速且可扩展的 AutoML 流水线，专为金融应用设计，包含离线时间验证和行为建模功能。
• 在真实金融数据集和 OpenML 基准测试中，证明其性能优于通用型 AutoML 框架和人类数据科学家。
• 实现在 24/7 生产环境中自动化、持续地生成数千个机器学习模型，实现人工无法达成的能力。

提出的方法

• 将模型空间严格限制在梯度提升树（GBMs）和线性模型上，以加速训练并降低复杂性，同时不牺牲性能。
• 实施一种动态超参数调优策略，平衡优化质量与速度，根据问题规模和数据量自适应调整。
• 提出一种新颖的基于规则的预处理流水线，通过元统计信息和数据类型启发式方法自动选择特征转换。
• 通过自动化数据类型识别与模式推断，处理来自数百个企业系统的异构、文档不全的数据。
• 与多种生产平台及 CI/CD 流水线集成，实现从模型训练、验证到部署的端到端自动化。
• 支持特殊验证模式，包括离线时间验证和序列行为建模，这对金融风险与客户行为分析至关重要。

实验结果

研究问题

• RQ1 在具有复杂、非平稳数据的真实金融应用中，领域专用的 AutoML 系统是否能超越通用型 AutoML 解决方案？
• RQ2 基于仅两种模型类型（GBMs 和线性模型）的轻量级 AutoML 框架，在性能上能否达到甚至超越人工调优模型？
• RQ3 在多种金融应用场景下，LightAutoML 在模型质量与开发速度方面与专家数据科学家相比如何？
• RQ4 在大型异构金融生态系统中大规模部署 AutoML 系统时，面临哪些关键技术与组织挑战？
• RQ5 在大规模自动化生成模型（数千个）的场景下，是否能带来超越人类数据科学家能力的业务价值与能力？

主要发现

• LightAutoML 在专有金融应用和 OpenML 基准测试中，均优于 H2O、AutoGluon 和 Google Cloud AutoML 等领先通用型 AutoML 工具，尤其在 AUC-ROC 和 LogLoss 指标上表现更优。
• 与传统数据科学家工作流相比，模型训练时间缩短了 4 至 10 倍，当与 CI/CD 流水线集成时，上市时间缩短最高达 70%。
• 在 60%-70% 的已部署模型中，LightAutoML 的性能优于人类数据科学家，尤其在数据准备和预处理任务中提升最为显著。
• 该框架实现了在 24/7 生产环境中自动化、持续地生成数千个机器学习模型——这是人工流程无法实现的能力。
• 尽管生产效率显著提升，但数据科学家人数仍持续增长，表明 AutoML 拓展了机器学习应用的范围，而非取代人类专业知识。
• 该系统在处理大规模、异构数据（含数千个特征和数百万条记录）时表现出强大鲁棒性，在多种金融应用场景中均保持高性能。