[논문 리뷰] Integrating Testing and Operation-related Quantitative Evidences in Assurance Cases to Argue Safety of Data-Driven AI/ML Components

Michael Kläs, Lisa Jöckel외 2명|arXiv (Cornell University)|2022. 02. 10.

Safety Systems Engineering in Autonomy인용 수 5

한 줄 요약

이 논문은 데이터 기반 AI/ML 컴포onent의 안전성을 철저히 주장하기 위해 테스트 결과, 운영 런타임 데이터, 범위 준수, 테스트 데이터 품질을 정량적으로 통합하는 통합된 확증 사례 프레임워크를 제안한다. 이러한 요소들을 수학적으로 모델링함으로써, 단순히 통계적 테스트 실패율에 의존하는 것보다 더 설득력 있고 증거 기반의 안전성 주장이 가능해진다.

ABSTRACT

In the future, AI will increasingly find its way into systems that can potentially cause physical harm to humans. For such safety-critical systems, it must be demonstrated that their residual risk does not exceed what is acceptable. This includes, in particular, the AI components that are part of such systems' safety-related functions. Assurance cases are an intensively discussed option today for specifying a sound and comprehensive safety argument to demonstrate a system's safety. In previous work, it has been suggested to argue safety for AI components by structuring assurance cases based on two complementary risk acceptance criteria. One of these criteria is used to derive quantitative targets regarding the AI. The argumentation structures commonly proposed to show the achievement of such quantitative targets, however, focus on failure rates from statistical testing. Further important aspects are only considered in a qualitative manner -- if at all. In contrast, this paper proposes a more holistic argumentation structure for having achieved the target, namely a structure that integrates test results with runtime aspects and the impact of scope compliance and test data quality in a quantitative manner. We elaborate different argumentation options, present the underlying mathematical considerations, and discuss resulting implications for their practical application. Using the proposed argumentation structure might not only increase the integrity of assurance cases but may also allow claims on quantitative targets that would not be justifiable otherwise.

연구 동기 및 목표

• 기존 확증 사례가 운영 및 테스트 증거를 정량적으로가 아니라 정성적으로 다루는 격차를 보완하기 위해.
• 테스트 결과, 런타임 동작, 데이터 품질, 범위 준수를 안전 기반 시스템 환경에서 통합하는 통일된 추론 구조를 개발하기 위해.
• 안전 기반 시스템 내 AI/ML 컴포넌트에 대해 더 설득력 있고 정당화 가능한 정량적 안전 목표를 제공하기 위해.
• 통제된 테스트 외에도 실제 운영 증거를 통합함으로써 확증 사례의 무결성과 신뢰성을 향상시키기 위해.

제안 방법

• 통계적 테스트 결과, 운영 실패율, 테스트 데이터 품질 지표, 범위 준수 수준 등의 다양한 정량적 증거를 통합하는 공식적인 추론 구조를 제안한다.
• 이러한 증거 유형을 하나의 일관된 안전성 주장으로 통합하기 위해 수학적 모델을 도입하며, 잔여 위험을 평가하기 위해 확률적 추론을 활용한다.
• 테스트 기반 실패율과 실제 환경 조건 하에서의 운영 성능을 모두 고려하는 위험 수용 기준을 적용한다.
• 각 구성 요소(테스트, 운영, 데이터 품질)가 정량적으로 전체 안전성 주장을 뒷받침하는 계층적 확증 사례 구조를 사용한다.
• 증거 입력에 대한 민감도 분석이 가능하게 하는 프레임워크를 활용하여 안전성 주장을 더 투명하고 감사 가능하게 만든다.

실험 결과

연구 질문

• RQ1 AI/ML 컴포넌트의 안전성 주장을 뒷받침하기 위해 테스트 및 운영 증거를 확증 사례에 공식적으로 어떻게 통합할 수 있는가?
• RQ2 테스트 데이터 품질과 범위 준수를 정량적 안전성 주장에 통합할 수 있는 수학적 모델은 무엇인가?
• RQ3 운영 데이터를 포함시킬 경우, 테스트 전용 접근 방식에 비해 안전성 주장의 설득력은 어느 정도 향상되는가?
• RQ4 이질적인 증거 원천을 통합할 때도 무결성을 유지할 수 있도록 확증 사례는 어떻게 구성할 수 있는가?

주요 결과

• 제안된 프레임워크는 테스트 결과, 운영 데이터, 데이터 품질, 범위 준수를 정량적으로 통합함으로써 더 설득력 있는 안전성 주장을 가능하게 한다.
• 운영 증거를 통합함으로써, 테스트 데이터만으로는 정당화되지 않을 수 있는 안전성 주장이 가능해지며, 특히 분포 외부 시나리오에서 두드러진다.
• 데이터 품질 및 범위 준수 지표의 통합은 별도의 테스트만으로 평가하는 것보다 더 정확한 잔여 위험 추정을 가능하게 한다.
• 수학적 모델링 접근 방식은 투명성과 감사 가능성을 향상시켜 확증 사례에 대한 신뢰도를 높인다.