[논문 리뷰] Towards a safe MLOps Process for the Continuous Development and Safety Assurance of ML-based Systems in the Railway Domain

Marc Zeller, Thomas Waschulzik외 2명|arXiv (Cornell University)|2023. 07. 06.

Software Reliability and Analysis Research인용 수 5

한 줄 요약

이 논문은 철도 자동화 분야에서 기계학습 기반 시스템의 지속적인 개발 및 안전 검증을 위한 시스템 공학, 안전 확보, 기계학습 생명주기와 통합된 안전한 MLOps 프로세스를 제안한다. 이는 GoA 4 열차 운영 환경에서 추적 가능하고 감사 가능하며 자동화된 MLOps 파이프라인을 가능하게 하며, 자동화, 안전 사례 유지보수, 런타임 모니터링 분야의 과제를 해결한다.

ABSTRACT

Traditional automation technologies alone are not sufficient to enable driverless operation of trains (called Grade of Automation (GoA) 4) on non-restricted infrastructure. The required perception tasks are nowadays realized using Machine Learning (ML) and thus need to be developed and deployed reliably and efficiently. One important aspect to achieve this is to use an MLOps process for tackling improved reproducibility, traceability, collaboration, and continuous adaptation of a driverless operation to changing conditions. MLOps mixes ML application development and operation (Ops) and enables high frequency software releases and continuous innovation based on the feedback from operations. In this paper, we outline a safe MLOps process for the continuous development and safety assurance of ML-based systems in the railway domain. It integrates system engineering, safety assurance, and the ML life-cycle in a comprehensive workflow. We present the individual stages of the process and their interactions. Moreover, we describe relevant challenges to automate the different stages of the safe MLOps process.

연구 동기 및 목표

• 철도 분야에서 안전 핵심 기계학습 시스템에 대한 표준화된 안전 확보 프로세스 부족을 보완하기 위해.
• 운전사 없는 열차(GoA 4)를 위한 기계학습 기반 장애물 탐지 시스템의 지속적이고 신뢰성 있으며 감사 가능한 개발을 가능하게 하기 위해.
• 시스템 공학, 기계학습 생명주기, 안전 확보를 통합하여 유일하고 반복 가능한 MLOps 워크플로우를 구축하기 위해.
• 안전 핵심 시스템의 기계학습 컴포onent에 대한 안전 분석 자동화, 안전 사례 유지를 위한 도전 과제와 런타임 모니터링을 극복하기 위해.
• CEN-CENELEC JTC 21과의 협업을 통해 철도 분야에서 기계학습 안전 프로세스의 표준화 기반을 마련하기 위해.

제안 방법

• 엔드 투 엔드 추적 가능성을 확보하기 위해 MBSE(SysML 모델)와 모델 기반 안전 확보(CFDT 및 GSN)를 통합한 종합적인 MLOps 파이프라인을 설계한다.
• AMLAS 프로세스 프레임워크를 적용하여 기계학습 및 데이터 생명주기를 체계화하고, 안전 핵심 개발 관행과 일치시킨다.
• 기계학습 기반의 방식으로 기능적 안전성 및 SOTIF(의도된 기능의 안전성) 측면을 분석하기 위해 구성요소 고장 및 결함 트리(CFDT)를 사용한다.
• 검증 및 검수 활동에서 유도된 증거를 체계적으로 정리하기 위해 목표 기반 구조 기법(GSN)을 사용하여 안전 사례를 수립한다.
• 모든 자료(모델, 데이터, 테스트 결과, 안전 증거)를 저장 및 버전 관리하기 위한 일관성 레이어를 구현하여 감사 가능성과 추적 가능성을 보장한다.
• 스프린트 단위로 테스트, 검증, 안전 사례 업데이트 등의 단계를 자동화하기 위한 도구 지원이 있는 CI/CD 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 기반 시스템의 지속적인 개발 및 안전 확보를 지원하는 안전한 MLOps 프로세스를 설계할 수 있는가?
• RQ2 안전 핵심 시스템의 기계학습 컴포넌트에 대해 안전 분석 자동화, 안전 사례 유지보수, 런타임 모니터링을 자동화하는 데 있어 핵심 과제는 무엇인가?
• RQ3 시스템 공학, 기계학습 생명주기, 안전 확보를 어떻게 하나의 추적 가능하고 감사 가능한 MLOps 워크플로우로 통합할 수 있는가?
• RQ4 제품 생명주기 동안 시스템 요구사항이나 운영 데이터가 변경될 경우, 안전 사례를 어떻게 동적으로 업데이트하고 재사용할 수 있는가?
• RQ5 모델 기반 안전 확보(CFDT, GSN 등)는 안전 핵심 기계학습 개발에서 자동화와 일관성을 어떻게 지원할 수 있는가?

주요 결과

• 제안된 안전한 MLOps 프로세스는 시스템 공학, 기계학습 생명주기, 안전 확보를 지속적이고 추적 가능하며 감사 가능한 워크플로우로 성공적으로 통합하였다.
• 구성요소 고장 및 결함 트리(CFDT)는 기능적 안전성 및 SOTIF 측면을 체계적으로 분석할 수 있게 하여 SysML 기반 시스템 모델과의 일관성을 확보한다.
• 목표 기반 구조 기법(GSN)을 사용함으로써 검증 결과의 추가에 따라 확장 및 업데이트가 가능한 체계적인 증거 기반 안전 논증이 가능하다.
• 모델, 데이터, 테스트 결과, 안전 증거 등 모든 자료를 저장하는 일관성 레이어를 통해 종단 간 추적 가능성을 보장하고 감사 가능성 및 재사용을 지원한다.
• 변경되는 안전 사례와 동기화되는 V&V 테스트 체인, 런타임 운영 중 안전 지표 유지 등의 핵심 자동화 과제를 해결한다.
• 이 프레임워크는 safe.trAIn 프로젝트 내 CI/CD 파이프라인에 구현 중이며, 지역 열차 장애물 탐지에 대한 산업용 사례에서 평가 중이다.