[논문 리뷰] Guidance on the Safety Assurance of Autonomous Systems in Complex Environments (SACE)

Richard J. Hawkins, Matt Osborne외 4명|arXiv (Cornell University)|2022. 08. 01.

Safety Systems Engineering in Autonomy인용 수 7

한 줄 요약

이 논문은 복잡한 환경에서 동작하는 자율 시스템(AS)의 안전성 확보를 위한 구조적 방법론인 복잡 환경에서의 자율 시스템 안전성 확보(SACE)를 제시한다. SACE는 31개의 안전성 확보 활동을 포함한 8단계로 구성된 프로세스 기반 접근 방식을 사용하며, 안전성 사례 패턴을 활용해 설계 및 운영 전반에 걸쳐 추적 가능하고 검증 가능하며 감사 가능한 논거를 체계적으로 생성함으로써 자율 시스템의 안전성을 정당화한다. 이는 복잡한 환경에서의 배치를 위한 종합적인 안전성 사례로 이어진다.

ABSTRACT

Autonomous systems (AS) are systems that have the capability to take decisions free from direct human control. AS are increasingly being considered for adoption for applications where their behaviour may cause harm, such as when used for autonomous driving, medical applications or in domestic environments. For such applications, being able to ensure and demonstrate (assure) the safety of the operation of the AS is crucial for their adoption. This can be particularly challenging where AS operate in complex and changing real-world environments. Establishing justified confidence in the safety of AS requires the creation of a compelling safety case. This document introduces a methodology for the Safety Assurance of Autonomous Systems in Complex Environments (SACE). SACE comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of the AS and (2) for generating the evidence base for explicitly justifying the acceptable safety of the AS.

연구 동기 및 목표

• 복잡하고 동적이며 예측 불가능한 실세계 환경에서 운영되는 자율 시스템(AS)의 안전성 확보 과제를 해결하기 위해.
• 자율 시스템 개발 전 주기 전반에 안전성 확보를 통합하는 체계적이고 프로세스 중심의 방법론을 제공하기 위해.
• 추적 가능한 논거 패턴을 통해 명시적이고 체계적이며 증거 기반의 안전성 사례를 생성하여 자율 시스템의 수용 가능한 안전성을 정당화하기 위해.
• 안전성 엔지니어, 개발자 및 평가자에게 자율 시스템 응용 분야에서의 안전성 확보, 검증 및 검수를 위한 표준화된 프레임워크를 제공하기 위해.
• 자율 주행차, 헬스케어 및 가정용 로봇과 같은 고위험 분야에서 자율 시스템의 신뢰할 수 있는 안전성 평가 및 인증을 가능하게 하기 위해.

제안 방법

• SACE는 자율 시스템 개발 전 과정과 병행하여 운영되는 8단계 프로세스로 구성되며, 모든 개발 및 운영 단계에서 안전성 확보를 통합한다.
• 각 단계는 안전성 사례 패턴(예: AS 운영 환경, 위험 상황, 안전 운영 개념 등)을 사용하여 안전성 정당화를 위한 논거를 체계화한다.
• 31개의 안전성 확보 활동을 포함하며, 각 활동은 정의된 입력, 출력 및 증거 요구사항(예: 검증 로그, 형식적 모델 등)을 갖는다.
• 활동은 시스템 수준의 안전성 요구사항에서 컴포넌트 수준의 설계 및 검증에 이르기까지 추적 가능성을 보장하도록 구성된다.
• 테스트 및 형식적 검증을 모두 지원하며, 각 검증 전략에 대해 구체적인 주장과 정당화가 필요하다.
• 각 단계는 누적적이고 감사 가능한 안전성 사례에 기여하는 인스턴스화된 안전성 확보 논거 패턴으로 마무리된다.

실험 결과

연구 질문

• RQ1 어떻게 복잡한 환경에서 운영되는 자율 시스템의 개발 주기 전반에 안전성 확보를 체계적으로 통합할 수 있는가?
• RQ2 다양한 추상 수준과 운영 환경에서 자율 시스템의 안전성을 정당화하기 위해 필요한 체계적인 논거 패턴은 무엇인가?
• RQ3 테스트, 형식적 검증 및 시나리오 분석에서 얻은 증거를 어떻게 체계적으로 수집하고 안전성 요구사항과 연결할 수 있는가?
• RQ4 안전성 사례가 규제 기관 및 이해관계자 심사에 적합하고 추적 가능하며 감사 가능한지를 보장하기 위한 기준은 무엇인가?
• RQ5 정의된 운영 도메인 외부에서 운영되는 자율 시스템의 안전성을 어떻게 확보할 수 있는가?

주요 결과

• SACE 방법론은 31개의 안전성 확보 활동을 포함한 종합적이고 프로세스 중심의 프레임워크를 제공하여 자율 시스템의 체계적 안전성 사례 개발을 가능하게 한다.
• SACE의 각 단계는 누적적이고 감사 가능하며 추적 가능한 안전성 논거에 기여하는 인스턴스화된 안전성 사례 패턴을 생성한다.
• 이 방법론은 테스트 및 형식적 검증을 모두 지원하며, 검증 증거의 충분성을 정당화하기 위해 구체적인 주장(G8.2는 테스트, G8.6는 형식적 검증)이 필요하다.
• 이 방법론은 시스템 수준의 의도에서 컴포넌트 수준의 구현 및 검증에 이르기까지 안전성 요구사항의 추적 가능성을 보장한다.
• 모델 가정과 테스트의 대표성에 대한 정당화를 포함하여 증거 기반의 주장으로 안전성 요구사항을 검증할 수 있다.
• 최종 출력물은 모든 수준의 시스템 설계 및 운영에서 안전성 요구사항 준수를 입증하는 체계적이고 증거 기반의 안전성 사례이다.