[논문 리뷰] Reliability Assessment and Safety Arguments for Machine Learning Components in Assuring Learning-Enabled Autonomous Systems

Xingyu Zhao, Wei Huang외 7명|arXiv (Cornell University)|2021. 11. 30.

Software Reliability and Analysis Research참고 문헌 68인용 수 5

한 줄 요약

이 논문은 학습 기반 자율 시스템에서 기계 학습 분류기의 신뢰성 평가 모델(RAM)을 제안하며, 운영 프로파일과 강건성 검증을 통합하여 신뢰성을 정량화하고 비율 기반 안전성 논증을 지원한다. 이 프레임워크는 구성 요소 수준의 신뢰성 주장이 가능하며, 자율 잠수선에서의 시뮬레이션을 통해 검증되었다.

ABSTRACT

The increasing use of Machine Learning (ML) components embedded in autonomous systems -- so-called Learning-Enabled Systems (LES) -- has resulted in the pressing need to assure their functional safety. As for traditional functional safety, the emerging consensus within both, industry and academia, is to use assurance cases for this purpose. Typically assurance cases support claims of reliability in support of safety, and can be viewed as a structured way of organising arguments and evidence generated from safety analysis and reliability modelling activities. While such assurance activities are traditionally guided by consensus-based standards developed from vast engineering experience, LES pose new challenges in safety-critical application due to the characteristics and design of ML models. In this article, we first present an overall assurance framework for LES with an emphasis on quantitative aspects, e.g., breaking down system-level safety targets to component-level requirements and supporting claims stated in reliability metrics. We then introduce a novel model-agnostic Reliability Assessment Model (RAM) for ML classifiers that utilises the operational profile and robustness verification evidence. We discuss the model assumptions and the inherent challenges of assessing ML reliability uncovered by our RAM and propose practical solutions. Probabilistic safety arguments at the lower ML component-level are also developed based on the RAM. Finally, to evaluate and demonstrate our methods, we not only conduct experiments on synthetic/benchmark datasets but also demonstrate the scope of our methods with a comprehensive case study on Autonomous Underwater Vehicles in simulation.

연구 동기 및 목표

• 기계 학습 모델의 특성으로 인해 전통적 안전 방법이 실패하는 학습 기반 자율 시스템(LES)에서 기능적 안전 확보의 과제를 해결한다.
• 시스템 수준의 안전 목표를 구성 요소 수준의 신뢰성 요구사항으로 분해할 수 있는 정량적 보증 프레임워크를 개발한다.
• 모델에 종속되지 않는 기계 학습 분류기용 신뢰성 평가 모델(RAM)을 개발하며, 운영 프로파일 데이터와 강건성 검증 증거를 통합한다.
• RAM을 기반으로 구성 요소 수준에서 확률적 안전 논증을 수립하여 안전 사례 구축을 지원한다.
• 기본 데이터셋과 자율 잠수선에 대한 종합적인 사례 연구를 통해 프레임워크의 적용 가능성과 효용성을 시연한다.

제안 방법

• 운영 프로파일 데이터와 강건성 검증 결과를 사용하여 분류기의 신뢰성을 추정하는 모델에 종속되지 않는 신뢰성 평가 모델(RAM)을 설계한다.
• 실제 사용 조건을 반영하기 위해 실제 입력 분포를 나타내는 운영 프로파일 정보를 신뢰성 정량화에 통합한다.
• 적대적 테스트나 형식적 검증에서 유도된 강건성 검증 증거(예: 적대적 테스트 결과)를 편향에 대한 저항성 평가의 핵심 입력으로 사용한다.
• RAM 출력 결과와 통계적 신뢰성 지표 및 신뢰 구간을 조합하여 구성 요소 수준에서의 확률적 안전 논증을 구성한다.
• 시스템 수준의 안전 목표를 측정 가능한 구성 요소 수준의 신뢰성 목표로 분해하기 위해 프레임워크를 적용한다.
• 기본 데이터셋과 합성 데이터셋에서의 실험을 수행한 후, 자율 잠수선에 대한 완전한 시뮬레이션 기반 사례 연구를 수행하여 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 학습 기반 자율 시스템(LES)에서 기계 학습 분류기의 신뢰성을 모델에 종속되지 않고 운영 프로파일을 고려한 방식으로 정량적으로 평가할 수 있는가?
• RQ2 강건성 검증은 기계 학습 구성 요소의 신뢰성 주장에 대한 신뢰도를 높이는 데 어떤 역할을 하는가?
• RQ3 구성 요소 수준의 신뢰성 지표는 어떻게 유도되고, 안전 사례의 구성에 어떻게 기여하는가?
• RQ4 제안된 RAM 프레임워크는 복잡한 운영 프로파일을 가진 실제 자율 시스템에 얼마나 널리 적용될 수 있는가?
• RQ5 운영 프로파일과 강건성 증거의 통합은 기계 학습 구성 요소의 안전 논증에 대한 방어 가능성을 어떻게 향상시키는가?

주요 결과

• 제안된 RAM은 모델 특성에 대한 가정 없이 기계 학습 분류기의 신뢰성을 신뢰성 있게 추정할 수 있어 다양한 아키텍처에 대한 적용 가능성을 높인다.
• 운영 프로파일을 통합함으로써 실제 구현 조건을 반영함으로써 평가의 현실성과 관련성을 크게 향상시킨다.
• 강건성 검증 증거는 입력 편향 상황에서의 실패 모드를 식별하는 데 기여하여, 특히 정량적 신뢰성 평가에 의미 있는 기여를 한다.
• 프레임워크는 구성 요소 수준에서의 확률적 안전 논증을 성공적으로 지원하여 추적 가능하고 증거 기반의 안전 사례를 가능하게 한다.
• 자율 잠수선에 대한 사례 연구를 통해 프레임워크의 확장성과 복잡한 안전 중심 시뮬레이션 환경에서의 실용성을 입증하였다.
• 정량적 신뢰성 지표와 안전 사례 구조의 통합은 학습 기반 시스템에 대한 더 방어 가능하고 감사 가능한 안전 주장 가능성을 높인다.