[논문 리뷰] A Methodology for Automating Assurance Case Generation

Shreyas Ramakrishna, Charles Hartsell외 3명|arXiv (Cornell University)|2020. 03. 11.

Safety Systems Engineering in Autonomy참고 문헌 31인용 수 5

한 줄 요약

이 논문은 시스템 설계 자료, 정제된 증거, 인증 기준을 사용하여 목표 구조화 기법(GSN) 기반 안전 사례를 자동으로 구성하고 평가하는 자동화된 확신 사례 생성(ACG) 방법론을 제안한다. 이 방법은 목표를 반복적으로 분해하고, 증거를 연결하며, 주장의 타당성을 검증하는 3단계 링크-씰-확장(Link-Seal-Expand) 프레임워크를 활용하여, 안전 임계 시스템(CPS)에서 수동 작업을 크게 줄이고 일관성을 향상시킨다.

ABSTRACT

Safety Case has become an integral component for safety-certification in various Cyber Physical System domains including automotive, aviation, medical devices, and military. The certification processes for these systems are stringent and require robust safety assurance arguments and substantial evidence backing. Despite the strict requirements, current practices still rely on manual methods that are brittle, do not have a systematic approach or thorough consideration of sound arguments. In addition, stringent certification requirements and ever-increasing system complexity make ad-hoc, manual assurance case generation (ACG) inefficient, time consuming, and expensive. To improve the current state of practice, we introduce a structured ACG tool which uses system design artifacts, accumulated evidence, and developer expertise to construct a safety case and evaluate it in an automated manner. We also illustrate the applicability of the ACG tool on a remote-control car testbed case study.

연구 동기 및 목표

• 안전 임계 시스템에서 수동으로 작성하는 안전 사례의 비효율성과 일관성 부족 문제를 해결하기 위해.
• GSN 또는 CAE 구축을 지원하지만 자동화하지 못하는 기존 도구의 한계를 극복하기 위해.
• 인증 기준에 기반한 안전 사례의 자동 생성 및 평가를 위한 체계적이고 자동화된 방법론을 개발하기 위해.
• 목표 분해, 증거 연결, 주장 검증 과정에서 인간의 참여를 최소화하면서도 주장의 신뢰성을 확보하기 위해.
• 구조화된 증거 모델링과 자동 평가를 통해 안전 사례의 재사용성과 확장성을 보장하기 위해.

제안 방법

• 3단계 방법론을 활용: 링크(증거를 주장에 연결), 씰(증거의 충분성과 가정 검증), 확장(목표를 재귀적으로 분해).
• 반복적 검색을 통해 고수준의 인증 기준을 원자적 증거로 지지할 수 있는 잎노드에 도달할 때까지 하위 목표로 분해.
• 시스템 설계 자료(예: 컴포넌트 모델)와 정제된 증거 저장소를 통합하여 자동 GSN 생성을 이끌어내기.
• 생성된 안전 사례의 신뢰성을 평가하기 위해 신뢰도 점수를 적용하여 기본적인 구조를 초월한 신뢰성 향상.
• 빠른 프로토타이핑 기법을 활용해 ACG 툴체인의 구성 요소를 구현하고 개선.
• 확장성 지원을 고려해 설계하여, 향후 논리적 연결자(예: XOR) 및 정당화 노드(GSN 내) 지원 가능하도록 설계.

실험 결과

연구 질문

• RQ1 시스템 설계 자료와 축적된 증거를 활용해 어떻게 확신 사례 생성을 자동화할 수 있는가?
• RQ2 어떤 방법론이 인증 기준을 체계적이고 반복적으로 구조화된 GSN으로 분해할 수 있는가?
• RQ3 증거를 주장에 자동으로 연결하면서도 타당성과 중복 최소화를 보장할 수 있는가?
• RQ4 자동으로 생성된 안전 사례의 신뢰성을 객관적으로 평가할 수 있는 지표는 무엇인가?
• RQ5 자동화로 인간의 참여를 얼마나 줄일 수 있으며, 주장의 품질이나 완전성은 유지할 수 있는가?

주요 결과

• ACG 툴은 설계 자료와 정제된 증거 저장소를 활용해 GSN 기반 안전 사례를 성공적으로 자동 생성한다.
• 링크-씰-확장 프레임워크는 인증 기준을 계층적 GSN 구조로 체계적이고 반복적으로 분해하는 데 기여한다.
• 원자적 증거 노드 모델링을 통해 증거 연결의 중복을 줄여 안전 사례 간 재사용성을 향상시킨다.
• 생성된 안전 사례의 신뢰성을 평가하기 위한 신뢰도 점수 메커니즘을 도입하여, 기존 도구와 비교해 신뢰할 수 있는 신뢰도 평가 기능을 제공한다.
• 해당 방법론은 원격 제어 차량 테스트베드와 AEBS 사용 사례를 통해 검증되었으며, 실제 CPS 환경에서의 타당성을 입증했다.
• 이 방법론은 수동 작업을 줄이고 안전 사례 개발의 일관성을 향상시켜 현재의 수동적이고 비체계적인 관행의 핵심적 한계를 해결한다.