[논문 리뷰] On the validation of complex systems operating in open contexts

Alexander Poddey, Tino Brade외 2명|arXiv (Cornell University)|2019. 01. 22.

Safety Systems Engineering in Autonomy참고 문헌 5인용 수 15

한 줄 요약

이 논문은 개방적이고 비정형적인 환경에서 운영되는 복잡한 자율 시스템을 대상으로 체계적이고 시스템 시각 기반의 검증 접근법(sys2val)을 제안한다. 이는 구조화된 알고리즘을 통해 반복적 개발 및 검증을 정형화하며, 고수준 자율화를 위한 ISO/PAS 21448(SOTIF)의 격차를 보완하고, 안전성, 사회적 수용성, 장기적 지속 가능성 확보를 위한 통합된 증거 통합을 강조한다.

ABSTRACT

In the recent years, there has been a rush towards highly autonomous systems operating in public environments, such as automated driving of road vehicles, passenger shuttle systems and mobile robots. These systems, operating in unstructured, public real-world environments (the operational design domain can be characterized as open context) per se bear a serious safety risk. The serious safety risk, the complexity of the necessary technical systems, the openness of the operational design domain and the regulatory situation pose a fundamental challenge to the automotive industry. Many different approaches to the validation of autonomous driving functions have been proposed over the course of the last years. However, although partly announced as the solution to the validation challenge, many of the praised approaches leave open crucial parts. To illustrate the contributions as well as the limitations of the individual approaches and providing strategies for 'viable' validation and approval of such systems, the first part of the paper gives an analysis of the fundamental challenges related to the valid design and operation of complex autonomous systems operating in open contexts. In the second part, we formalize the problem statement and provide algorithms for an iterative development and validation. In the last part we give a high level overview of a practical, holistic development process which we refer to as systematic, system view based approach to validation (in short sys2val) and comment on the contributions from ISO26262 and current state of ISO/PAS 21448 (SOTIF).

연구 동기 및 목표

• 오히려 무한한 맥락 복잡성으로 인해 안전 위험이 높은 개방적이고 비정형적인 환경에서 고도로 자율적인 시스템을 검증하는 데 있어 근본적인 과제를 해결한다.
• 특히 ISO/PAS 21448(SOTIF)와 같은 기존 검증 접근법의 한계를 규명한다. 이는 3급 이상 자율화 및 개방적 맥락에서 부적절하며, 검증이 부족하다.
• 기능 안전성, SOTIF, 머신러닝 안전성, 보안성을 통합한 통합된 시스템 시각 기반의 공식화된 반복적 검증 프로세스를 개발한다.
• 지속적인 모니터링, 증거 수집, 피드백 루프를 통한 지속적 검증과 내성 강화 시스템 진화를 가능하게 한다.
• 산업계와 규제 기관이 자율 시스템의 실현 가능하고 사회적으로 수용 가능한 승인을 향해 안내할 수 있는 실용적이고 통합적인 개발 프레임워크(sys2val)를 제공한다.

제안 방법

• 시스템의 시스템 시각을 활용하여 검증 문제를 정형화하며, 추상화 수준 간 지식 조각{Rep_i}과 증거 통합 제약 조건을 모델링한다.
• 개발 및 검증을 위한 반복 알고리즘을 도입하여, 모든 안전 측면(기능 안전성, SOTIF, 보안 등)이 사이클 내에서 체계적으로 다루어지도록 보장한다.
• 대표성 격차를 보완하기 위해 실제 세계 관측, 가정 모니터링, 기능 수정을 통합한 통합 검증 사이클(sys2val)을 제안한다.
• 부족함 분석을 위해 촉발 사건을 대표성 자극으로 사용하지만, 보편적 해결책으로서의 역할은 하지 않으며, 희귀하지만 중요한 시나리오의 커버리지 확보를 위해 사용한다.
• 확률적 및 체계적 증거 유형을 통합된 추론 프레임워크에 통합하여, 증거 통합에 대한 공식 이론의 부재 문제를 해결한다.
• ISO 26262와 ISO/PAS 21448을 확장하여 개발 라이프사이클에 지속적 검증 및 내성 강화 원칙을 통합한다.

실험 결과

연구 질문

• RQ1 운영 설계 도메인이 ∞-복잡성을 띠고 시간이 지남에 따라 변화하는 개방적 맥락에서 운영되는 복잡한 자율 시스템은 어떻게 검증할 수 있는가?
• RQ2 ISO/PAS 21448(SOTIF)와 같은 기존 접근법은 개방적 환경에서 3급 이상 자율 시스템의 안전성을 다루는 데 있어 어떤 핵심적 한계를 지니는가?
• RQ3 개발 과정에서 안전 핵심 요소가 간과되지 않도록 보장하기 위해 체계적이고 반복적인 검증 프로세스를 어떻게 정형화할 수 있는가?
• RQ4 대표성 있는 촉발 사건은 시스템 행동 검증에서 어떤 역할을 하는가? 그리고 대표성 문제 왜 근본적인 과제인가?
• RQ5 다양한 안전 영역(SOTIF, 기능 안전성, 보안 등)에서 유래한 분산되고 변화하는 증거를 어떻게 통합된 공식화된 승인 논거로 통합할 수 있는가?

주요 결과

• 기존 검증 접근법, 특히 ISO/PAS 21448은 통계 기반의 촉발 사건 중심 접근 방식에 의존하여 ∞-복잡성과 변화하는 맥락을 충분히 다루지 못하므로 3급 이상 자율 시스템에 대해 부적절하다.
• 논문은 실제 세계의 촉발 사건만으로는 대표성 문제와 깊은 부족함 분석이 필요한 바, 검증의 보편적 해결책이 될 수 없다고 규명한다.
• 다양한 추상화 수준 간 증가하고 상호 연관된 지식 조각을 관리하고 오missions을 방지하기 위해 공식화된 반복적 개발 및 검증 프로세스가 필수적이다.
• sys2val 프레임워크는 실제 세계 데이터, 가정 모니터링, 기능 수정 사이클 통합을 통해 지속적 검증과 내성 강화를 가능하게 한다.
• 확률적 및 체계적 증거를 통합하는 통합 이론은 아직 존재하지 않으며, 이는 공식화되고 널리 수용되는 안전 논거의 주요 장벽을 이룬다.
• 자율 시스템의 사회적 수용성은 사망 사고를 방지할 수 있는 능력과 장기적인 안전한 운영을 입증할 수 있는 능력에 달려 있으며, 이는 현재의 표준을 초월한 통합적이고 시스템 시각 기반의 검증 전략이 필요하다.