[论文解读] AI Lifecycle Models Need To Be Revised. An Exploratory Study in Fintech

Mark Haakman, Luís Cruz+2 more|arXiv (Cornell University)|Oct 3, 2020

Ethics and Social Impacts of AI参考文献 38被引用 16

一句话总结

本研究通过在一家全球性金融科技机构ING的案例研究，识别出现有AI生命周期模型中的关键缺口——尤其在可行性评估、文档管理、模型监控和风险评估方面。作者提出了专为金融科技设计的修订版生命周期模型，强调治理、工具支持和流程标准化，以应对超越算法开发的实际挑战。

ABSTRACT

Tech-leading organizations are embracing the forthcoming artificial intelligence revolution. Intelligent systems are replacing and cooperating with traditional software components. Thus, the same development processes and standards in software engineering ought to be complied in artificial intelligence systems. This study aims to understand the processes by which artificial intelligence-based systems are developed and how state-of-the-art lifecycle models fit the current needs of the industry. We conducted an exploratory case study at ING, a global bank with a strong European base. We interviewed 17 people with different roles and from different departments within the organization. We have found that the following stages have been overlooked by previous lifecycle models: data collection, feasibility study, documentation, model monitoring, and model risk assessment. Our work shows that the real challenges of applying Machine Learning go much beyond sophisticated learning algorithms - more focus is needed on the entire lifecycle. In particular, regardless of the existing development tools for Machine Learning, we observe that they are still not meeting the particularities of this field.

研究动机与目标

• 调查现有AI生命周期模型在大规模AI开发中是否契合金融科技组织的实际需求。
• 识别在高度监管的金融机构中开发和维护机器学习系统所面临的特定挑战。
• 评估现有工具和流程在支持数据管理、版本控制和模型治理等ML生命周期阶段方面的充分性。
• 基于行业从业者的经验发现，对CRISP-DM和TDSP等现有模型提出改进建议。
• 通过突出ML生命周期中被低估但至关重要的阶段，为未来AI工程的研究与教育提供指导。

提出的方法

• 在ING开展一项探索性案例研究，ING是一家具有强烈金融科技导向的全球大型银行。
• 访谈了来自不同岗位和部门的17名专业人士，以收集关于机器学习开发实践的见解。
• 通过内部组织资源（包括文档和系统实践）对访谈数据进行三角验证。
• 分析现有生命周期模型（CRISP-DM和TDSP），识别在金融科技背景下被遗漏或弱化的关键阶段。
• 采用主题分析法提取ML生命周期中反复出现的挑战与缺口，重点关注流程、治理与工具支持。
• 通过整合被忽视的阶段（如可行性研究、模型监控和模型风险评估）提出修订后的生命周期模型。

实验结果

研究问题

• RQ1 现有机器学习生命周期模型在多大程度上契合金融科技领域的需求？
• RQ2 金融科技组织在开发机器学习应用时面临哪些具体挑战？
• RQ3 现有模型中哪些ML生命周期阶段被忽视或支持不足？
• RQ4 金融科技组织中的组织与监管约束如何影响ML开发流程？
• RQ5 为支持可扩展且合规的ML开发，工具与治理方面需要哪些改进？

主要发现

• 现有AI生命周期模型（如CRISP-DM和TDSP）遗漏了可行性研究、文档管理、模型监控和模型风险评估等关键阶段。
• 金融科技环境中缺乏ML模型文档化与治理的标准化实践和工具支持。
• 尽管已有ML开发工具，但团队常因与项目特定需求不匹配及复杂性过高而未采用。
• 模型治理与监管合规是主要挑战，尤其因金融监管法规快速变化所致。
• 研究发现，需在探索性数据分析、数据集成、版本控制和ML模型监控方面提供更好的工具支持。
• 从业者反映，ML开发中的真正挑战远超算法设计，更体现在数据质量、流程成熟度和跨职能协作方面。