[論文レビュー] Towards a safe MLOps Process for the Continuous Development and Safety Assurance of ML-based Systems in the Railway Domain

Marc Zeller, Thomas Waschulzik+2 more|arXiv (Cornell University)|Jul 6, 2023

Software Reliability and Analysis Research被引用数 5

ひとこと要約

本論文は、鉄道自動化分野における機械学習（ML）ベースのシステムの継続的開発および安全検証を可能にする、システム工学、安全保証、および機械学習ライフサイクルを統合した安全なMLOpsプロセスを提案する。このプロセスにより、安全要件を満たすトレーサビリティ、監査可能性、自動化されたMLOpsパイプラインを実現し、自動化、安全ケースの保守、ランタイム監視における課題を解決する。GoA 4列車運用における安全性が求められる環境に適している。

ABSTRACT

Traditional automation technologies alone are not sufficient to enable driverless operation of trains (called Grade of Automation (GoA) 4) on non-restricted infrastructure. The required perception tasks are nowadays realized using Machine Learning (ML) and thus need to be developed and deployed reliably and efficiently. One important aspect to achieve this is to use an MLOps process for tackling improved reproducibility, traceability, collaboration, and continuous adaptation of a driverless operation to changing conditions. MLOps mixes ML application development and operation (Ops) and enables high frequency software releases and continuous innovation based on the feedback from operations. In this paper, we outline a safe MLOps process for the continuous development and safety assurance of ML-based systems in the railway domain. It integrates system engineering, safety assurance, and the ML life-cycle in a comprehensive workflow. We present the individual stages of the process and their interactions. Moreover, we describe relevant challenges to automate the different stages of the safe MLOps process.

研究の動機と目的

• 鉄道分野における安全な機械学習システムのための標準化された安全保証プロセスの欠如に対処すること。
• 運転手なし列車（GoA 4）向けの障害物検出システムの継続的で信頼性が高く、監査可能な開発を可能にすること。
• システム工学、MLライフサイクル、安全保証を統合した一貫性があり反復可能なMLOpsワークフローを構築すること。
• 安全な機械学習コンポonentにおける安全分析の自動化、安全ケースの保守、ランタイム監視の課題を克服すること。
• CEN-CENELEC JTC 21との協働を通じて、鉄道分野におけるML安全プロセスの標準化の基盤を構築すること。

提案手法

• SysMLモデル（MBSE）とモデルベース安全保証（CFDTおよびGSN）を統合した包括的なMLOpsパイプラインを設計し、エンドツーエンドのトレーサビリティを実現する。
• AMLASプロセスフレームワークを適用してMLおよびデータライフサイクルを構造化し、安全を重視する開発手法と整合させる。
• コンポーネント故障・欠陥ツリー（CFDT）を用いて、モデルベースの方法で機能的安全性およびSOTIF（意図した機能の安全性）の側面を分析する。
• ゴール構造化記法（GSN）を用いて、検証および検査活動からの証拠を構造的に整理した安全主張を構築する。
• すべてのアーティファクト（モデル、データ、テスト結果、安全証拠）を格納・バージョン管理する一貫性レイヤーを実装し、監査可能性とトレーサビリティを確保する。
• CI/CDパイプラインを設計し、ツール支援によりスプリントごとにテスト、検証、安全ケースの更新などの段階を自動化する。

実験結果

リサーチクエスチョン

• RQ1 鉄道分野におけるMLベースのシステムの継続的開発および安全保証を支援する安全なMLOpsプロセスは、どのように設計できるか？
• RQ2 安全な機械学習コンポーネントにおける安全分析の自動化、安全ケースの保守、ランタイム監視の自動化における主な課題は何か？
• RQ3 システム工学、MLライフサイクル、安全保証を統合した一貫性がありトレーサブルで監査可能なMLOpsワークフローは、どのように実現できるか？
• RQ4 製品ライフサイクル中にシステム要件や運用データが変更された場合、安全ケースを動的に更新・再利用する方法は何か？
• RQ5 モデルベース安全保証（例：CFDT、GSN）は、安全な機械学習開発における自動化と一貫性の確保にどのような役割を果たせるか？

主な発見

• 提案された安全なMLOpsプロセスは、システム工学、MLライフサイクル、安全保証を継続的でトレーサブルかつ監査可能なワークフローに統合することに成功した。
• コンポーネント故障・欠陥ツリー（CFDT）は、機能的安全性およびSOTIFの側面を体系的に分析でき、SysMLベースのシステムモデルと整合性を保証することができる。
• ゴール構造化記法（GSN）の使用により、検証結果の追加に応じて拡張・更新可能な、証拠に基づいた構造的な安全主張が可能になった。
• すべてのアーティファクト（モデル、データ、テスト結果、安全証拠）を格納する一貫性レイヤーの導入により、エンドツーエンドのトレーサビリティが確保され、監査可能性および再利用性が支援された。
• 安全ケースの進化とV&Vテストチェーンの同期、ランタイム運用における安全指標の維持といった、主な自動化課題が解決された。
• 本フレームワークは、safe.trAInプロジェクト内でCI/CDパイプラインに実装されており、地域列車の障害物検出を対象とする産業用ユースケースで評価が行われている。