[论文解读] Towards a safe MLOps Process for the Continuous Development and Safety Assurance of ML-based Systems in the Railway Domain

Marc Zeller, Thomas Waschulzik+2 more|arXiv (Cornell University)|Jul 6, 2023

Software Reliability and Analysis Research被引用 5

一句话总结

本文提出了一种安全的MLOps流程，整合系统工程、安全保证与机器学习生命周期，实现基于机器学习的铁路自动化系统在持续开发与安全验证方面的统一管理。该流程支持可追溯、可审计、自动化的MLOps流水线，并满足关键安全合规要求，解决了自动化、安全论证维护以及GoA 4列车运行时监控方面的挑战。

ABSTRACT

Traditional automation technologies alone are not sufficient to enable driverless operation of trains (called Grade of Automation (GoA) 4) on non-restricted infrastructure. The required perception tasks are nowadays realized using Machine Learning (ML) and thus need to be developed and deployed reliably and efficiently. One important aspect to achieve this is to use an MLOps process for tackling improved reproducibility, traceability, collaboration, and continuous adaptation of a driverless operation to changing conditions. MLOps mixes ML application development and operation (Ops) and enables high frequency software releases and continuous innovation based on the feedback from operations. In this paper, we outline a safe MLOps process for the continuous development and safety assurance of ML-based systems in the railway domain. It integrates system engineering, safety assurance, and the ML life-cycle in a comprehensive workflow. We present the individual stages of the process and their interactions. Moreover, we describe relevant challenges to automate the different stages of the safe MLOps process.

研究动机与目标

• 解决铁路领域中面向安全关键型机器学习系统缺乏标准化安全保证流程的问题。
• 实现面向无人驾驶列车（GoA 4）障碍物检测系统的持续、可靠且可审计的开发。
• 将系统工程、机器学习生命周期与安全保证整合为统一、迭代的MLOps工作流。
• 克服在安全关键型系统中自动化安全分析、安全论证维护与运行时监控的挑战。
• 通过与CEN-CENELEC JTC 21的合作，为铁路领域机器学习安全流程的标准化奠定基础。

提出的方法

• 设计一个全面的MLOps流水线，整合MBSE（SysML模型）与基于模型的安全保证（CFDTs与GSN），实现端到端可追溯性。
• 应用AMLAS流程框架来组织机器学习与数据生命周期，使其与安全关键型开发实践保持一致。
• 使用组件故障与缺陷树（CFDTs）以基于模型的方式分析功能安全与SOTIF（预期功能安全性）方面。
• 采用目标构建图示法（GSN）构建安全论证，系统化组织来自验证与确认活动的证据。
• 建立一致性层，用于存储和版本化所有工件（模型、数据、测试结果、安全证据），以支持审计性与可追溯性。
• 设计CI/CD流水线并配备工具支持，实现测试、验证与安全论证更新等阶段在各迭代周期中的自动化。

实验结果

研究问题

• RQ1 如何设计一种安全的MLOps流程，以支持铁路领域中基于机器学习的系统在持续开发与安全保证方面的实现？
• RQ2 在安全关键型系统中，自动化安全分析、安全论证维护与运行时监控的ML组件面临哪些关键挑战？
• RQ3 如何将系统工程、机器学习生命周期与安全保证整合为一个统一、可追溯且可审计的MLOps工作流？
• RQ4 当系统需求或运行数据在产品生命周期中发生变化时，如何实现安全论证的动态更新与复用？
• RQ5 基于模型的安全保证（如CFDTs、GSN）在实现安全关键型机器学习开发中的自动化与一致性方面发挥何种作用？

主要发现

• 所提出的MLOps流程成功地将系统工程、机器学习生命周期与安全保证整合为持续、可追溯且可审计的工作流。
• 组件故障与缺陷树（CFDTs）能够系统性地分析功能安全与SOTIF方面，确保与基于SysML的系统模型保持一致。
• 采用目标构建图示法（GSN）可实现结构化、基于证据的安全论证，且可随着新验证结果的产生而扩展与更新。
• 用于存储所有工件（模型、数据、测试结果、安全证据）的一致性层，确保了端到端的可追溯性，并支持审计性与复用性。
• 该流程解决了关键自动化挑战，如同步验证与确认测试链与不断演进的安全论证，以及在运行时操作中保持安全度量。
• 该框架已在safe.trAIn项目中集成至CI/CD流水线，并在区域列车障碍物检测的工业用例中进行评估。