[논문 리뷰] A causal model of safety assurance for machine learning

Simon Burton|arXiv (Cornell University)|2022. 01. 14.

Safety Systems Engineering in Autonomy인용 수 5

한 줄 요약

이 논문은 기계학습 시스템을 위한 안전 확보의 원인론적 모델을 제안하며, 안전 공 ingeneering 원칙과 ML 전용 과제를 통합한다. 네 가지 증거 유형—모델 성능, 데이터 품질, 환경 불확실성, 시스템 수준의 행동—을 원인론적 추론을 통해 정리하여 통합된 안전 사례를 구성함으로써 사이버-물리 시스템에서의 ML에 대한 철저하고 표준화된 확보를 가능하게 한다.

ABSTRACT

This paper proposes a framework based on a causal model of safety upon which effective safety assurance cases for ML-based applications can be built. In doing so, we build upon established principles of safety engineering as well as previous work on structuring assurance arguments for ML. The paper defines four categories of safety case evidence and a structured analysis approach within which these evidences can be effectively combined. Where appropriate, abstract formalisations of these contributions are used to illustrate the causalities they evaluate, their contributions to the safety argument and desirable properties of the evidences. Based on the proposed framework, progress in this area is re-evaluated and a set of future research directions proposed in order for tangible progress in this field to be made.

연구 동기 및 목표

• 분산된 지표와 부족한 증거 통합으로 인해 ML 기반 사이버-물리 시스템의 안전 확보에 대한 합의가 부족한 문제를 해결하기 위해.
• ISO 21448(SOTIF)와 같은 기능 안전 표준 및 안전 공학 원칙과 ML 안전을 일치시키는 체계적인 프레임워크를 개발하기 위해.
• 실패 원인과 모델의 부족함, 시스템 수준의 위험 간의 인과적 연결을 수립하여 추적 가능한 안전 논증을 가능하게 하는 원인론적 모델을 제공하기 위해.
• 다양한 ML 응용 프로그램과 학습 파라다임에서 검증 가능한 기준을 제공하는 효과적인 안전 증거 기준을 수립하기 위해.
• 측정 가능하고 원인론적으로 기반을 둔 증거를 정의하여 기계학습 연구와 안전 공학 간 격차를 메우기 위해.

제안 방법

• ML 시스템에서 안전과 관련된 실패의 원인론적 모델을 제안하며, 부족함의 근본 원인과 그들이 시스템 수준의 실패로 확산되는 방식을 규명하기 위해.
• 안전 사례 증거의 네 가지 유형을 정의: 모델 성능, 데이터 품질, 환경 불확실성, 시스템 수준의 행동.
• 입력 조건, 모델 행동, 안전 결과 간의 인과적 관계를 추상적 형식화를 통해 시각화하기 위해.
• 복잡한 운영 도메인에서 인과 경로를 검증하기 위해 정성적 공학적 판단과 통계적 상관관계를 융합하기 위해.
• 다양한 실패 모드와 운영 조건에서 부족함을 평가하기 위해 체계적인 안전 분석 기법을 적용하기 위해.
• 각 유형이 서로의 가정을 강화하도록 증거 통합을 통해 안전 사례의 반복적 개발을 지원하기 위해.

실험 결과

연구 질문

• RQ1 ML 기반 시스템에서 입력 조건, 모델의 부족함, 시스템 실패 간의 인과적 관계를 공식적으로 어떻게 모델링할 수 있는가?
• RQ2 SOTIF의 정량적 수용 기준을 충족한다는 것을 설득력 있게 입증하기 위해 필요한 최소한의 증거 유형은 무엇인가?
• RQ3 다양한 증거 유형을 어떻게 통합하여 심층적이고 통합된 안전 논증을 구성하여 심층적 검토에 견딜 수 있도록 할 수 있는가?
• RQ4 특히 통계적 및 확률적 추론에 기반할 경우, ML 맥락에서 효과적인 안전 지표와 방법을 정의하는 기준은 무엇인가?
• RQ5 특히 예측 불가능한 환경에서 통계적이고 비결정론적인 특성을 지닌 기계학습의 특성에 맞게 안전 확보 프로세스를 어떻게 적응시킬 수 있는가?

주요 결과

• 제안된 원인론적 모델은 입력 조건에서 안전 결과로의 추적 가능한 추론을 가능하게 하여 안전 논증의 투명성과 방어 가능성을 향상시킨다.
• 모델 성능, 데이터 품질, 환경 불확실성, 시스템 수준의 행동이라는 네 가지 유형의 증거를 통합하면, 개별 지표에 비해 안전 사례의 강도가 크게 향상된다.
• 인과적 관계의 형식화는 특정 지표와 방법이 잔여 실패율을 줄이는 데 얼마나 효과적인지 평가하는 데 도움을 준다.
• 현재의 ML 안전 연구는 증거 통합을 위한 통합된 프레임워크가 부족하여 분산되고 종종 설득력이 없는 안전 주장이 지속된다.
• 잔여 실패율에 대한 통계적 논증은 ML 안전에 필수적이며, 부족함이 시스템 전반에 걸쳐 어떻게 확산되는지를 이해하는 원인론적 이해가 필요하다.
• 효과적이고 응용 분야에 맞는 안전 방법과 지표를 개발하고 검증하기 위해 안전 전문가와 ML 연구자 간의 협업적이고 반복적인 접근이 필수적이다.