[논문 리뷰] Guidance on the Assurance of Machine Learning in Autonomous Systems (AMLAS)

Richard Hawkins, Colin Paterson외 4명|arXiv (Cornell University)|2021. 02. 02.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 47

한 줄 요약

AMLAS는 six-stage 프로세스와 안전 사례 패턴을 제공하여 자율 시스템에서 ML 구성요소를 체계적으로 보증하고, 시스템 위험을 ML-특정 요구사항 및 증거 논거에 연결합니다.

ABSTRACT

Machine Learning (ML) is now used in a range of systems with results that are reported to exceed, under certain conditions, human performance. Many of these systems, in domains such as healthcare , automotive and manufacturing, exhibit high degrees of autonomy and are safety critical. Establishing justified confidence in ML forms a core part of the safety case for these systems. In this document we introduce a methodology for the Assurance of Machine Learning for use in Autonomous Systems (AMLAS). AMLAS comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of ML components and (2) for generating the evidence base for explicitly justifying the acceptable safety of these components when integrated into autonomous system applications.

연구 동기 및 목표

• 자율 시스템 내에서 ML 구성요소 개발에 안전 보증을 통합하기 위한 단계별 프로세스를 정의한다.
• 시스템 차원의 위험 및 위험 분석을 ML-특정 안전 요구사항과 연계한다.
• 명시적 가정과 불확실성을 가진 ML 안전 주장을 정당화하기 위한 재사용 가능한 안전 주장 패턴을 제공한다.
• ML 개발과 시스템 안전 분석 간의 상호 의존성을 다루는 반복적 피드백을 가능하게 한다.
• ML 구성요소에 대한 명시적 안전 사례를 생성하여 전체 시스템 안전 사례에 통합될 수 있도록 한다.

제안 방법

• ML 안전 보증 범위 설정, ML 안전 요구사항, 데이터 관리, 모델 학습, 모델 검증, 배포 통합의 여섯 가지 AMLAS 단계를 정의한다.
• 앞선 활동들로부터 산출물을 사용하여 ML 안전 주장을 정당화하는 안전 보증 주장 패턴을 인스턴스화한다 (GSN-based 패턴).
• 시스템 안전 요구사항을 ML 안전 요구사항으로 변환하고 검토 및 시뮬레이션을 통해 이를 검증한다.
• 데이터 요구사항을 정의하고 ML 안전 요구사항에 맞춘 데이터 세트를 생성/검증한다.
• 학습 및 데이터 프로세스를 전용 주장 패턴으로 문서화하며 ML 모델을 개발하고 테스트한다.
• 전체 시스템 내에서 ML 구성요소를 통합하고 검증 결과에 기반하여 필요시 피드백에 따라 반복적으로 테스트한다.

실험 결과

연구 질문

• RQ1 시스템 차원의 위험 및 안전 요구사항을 자율 시스템의 ML-특정 안전 요구사항에 효과적으로 매핑하는 방법은 무엇인가?
• RQ2 ML 구성요소가 명시적 안전 사례 내에서 안전 요구사항을 충족한다는 것을 정당화하는 데 어떤 산출물과 주장 패턴이 가장 효과적인가?
• RQ3 데이터 관리 및 모델 학습이 ML 구성요소에 대한 추적 가능하고 감사 가능한 보장을 가능하게 하도록 어떻게 문서화되어야 하는가?
• RQ4 AMLAS에서 ML 개발 단계와 시스템 안전 분석 사이의 반복적 피드백의 역할은 무엇인가?
• RQ5 MLA LAS를 기존 안전 표준과 어떻게 통합하여 안전 критICAL 도메인에서 ML 구성요소를 관리할 수 있는가?

주요 결과

• AMLAS는 자율 시스템을 위한 명시적 ML 안전 사례를 생성하기 위한 구조화된 여섯 단계 프로세스를 제공한다.
• 이 접근법은 시스템 안전 요구사항을 ML-특정 안전 요구사항과 연결하고 단계별 안전 주장 패턴을 통해 정당화를 지원한다.
• 안전 보증은 반복적이며 검증 결과의 피드백에 따라 데이터, 학습, 검증 등의 단계를 재방문할 수 있다.
• AMLAS는 각 단계의 안전 주장 내에서 가정, 무역 off, 불확실성의 명시적 문서를 강조한다.
• GSN 기반 주장 패턴은 각 단계에 걸쳐 안전 주장들을 문서화하고 구체화하는 데 사용된다.
• 이 방법론은 오프라인 감독 학습에 초점을 두고 있으며 강화 학습과 같은 다른 ML 유형에 대한 잠재적 이점을 인정한다.