[논문 리뷰] Safety Validation of Autonomous Vehicles using Assertion Checking

Christopher R. Harper, Greg Chance외 4명|arXiv (Cornell University)|2021. 11. 08.

Software Testing and Debugging Techniques인용 수 6

한 줄 요약

이 논문은 영국 고속도로 코드에서 유래한 자연어 주행 규칙을 체계적인 방법론을 통해 자동차 주행차량(AV)의 안전성 및 임무 성능 검증을 위한 형식적이고 기계로 검증 가능한 진술로 변환하는 방법을 제안한다. 진술 유형의 분류 체계를 사용하여 지도 기반 데이터와 함께 런타임 및 시뮬레이션 기반 모니터링을 SQL 기반 검사로 수행할 수 있으며, Carla 시뮬레이터와 영상 분석 실험을 통해 추월 시나리오에서의 실행 가능성을 입증한다.

ABSTRACT

Safety and mission performance validation of autonomous vehicles (AVs) is a major challenge. In this paper we describe a methodology for constructing and applying assertion checks to validate the behaviour of an AV operating either in simulation or in the real world. We have identified a taxonomy of assertion types and the general format of their specification, and we have developed procedures for translating driving codes of practice to yield formal logical expressions that can be monitored automatically by computer, either by direct translation or by physical modelling. We have developed examples of assertions derived from the UK Highway Code (UKHC), as an example of a code of practice. We illustrate the approach with an example of assertion checking for vehicle overtaking, using a geospatial information system in an SQL database for validation and performance assessment. We present initial simulation and runtime monitoring experiments that apply assertions relevant in this overtaking scenario together with an analysis of the safety and mission performance characteristics measured.

연구 동기 및 목표

• 법적으로 구속력이 있고 인간이 읽을 수 있는 주행 지침서에 기반한 자동차 주행차량(AV) 행동 검증 문제를 해결하기 위해.
• 모호하고 맥락 의존적인 주행 규칙을 형식적이고 기계로 검증 가능한 논리적 진술로 체계적으로 변환하는 방법을 개발하기 위해.
• 이러한 진술을 사용하여 시뮬레이션 기반 검증과 실시간 런타임 모니터링을 동시에 가능하게 하기 위해.
• 영국 고속도로 코드와 같은 규제 문서를 기반으로 하여 AV의 안전성 및 성능 검증의 실행 가능성을 입증하기 위해.
• 사고 후 분석과 책임 소재 평가를 지원하기 위해 AV가 주행 규칙을 준수한 기록을 감사 가능하고 설명 가능한 방식으로 제공하기 위해.

제안 방법

• 관찰 가능하고 측정 가능한 차량 행동을 기반으로 한 진술 유형 분류 체계를 개발하였으며, 이는 기준점과 트리거 조건을 포함한다.
• 직역 번역 및 물리 모델링 기법을 사용하여 영국 고속도로 코드의 자연어 규칙을 형식적 논리 표현식으로 변환하였다.
• PostgreSQL/PostGIS 데이터베이스에서 실행되는 SQL 쿼리를 사용하여 Carla 시뮬레이터의 시뮬레이션 트레이스를 검증하기 위해 진술 검사를 구현하였다.
• 동일한 진술 프레임워크를 영상 데이터 분석에 적용하여 실시간 런타임 모니터링을 시뮬레이션하는 방식으로 적용하였다.
• 지리정보시스템(GIS)을 통합하여 추월 시나리오 동안 차량의 위치, 속도 및 운전 동작 순서를 평가하였다.
• 시뮬레이션과 영상 기반 분석을 병행하여 진술 위반으로 유도된 안전성 및 임무 성능 지표를 평가하였다.

실험 결과

연구 질문

• RQ1 영국 고속도로 코드와 같은 주행 지침서의 자연어 주행 규칙을 체계적으로 형식적이고 기계로 검증 가능한 진술로 변환할 수 있는가?
• RQ2 진술 기반 모니터링이 시뮬레이션 및 런타임 환경에서 AV 행동의 안전성 및 임무 성능 위반을 어느 정도 탐지할 수 있는가?
• RQ3 지리정보 기반 데이터베이스와 SQL 기반 쿼리가 복잡하고 맥락에 민감한 주행 규칙에 대해 효과적으로 AV 행동을 검증할 수 있는가?
• RQ4 진술 검사는 자동차 주행차량 시스템에서 설명 가능성과 사고 후 분석을 어떻게 지원하는가?
• RQ5 다양한 운영 환경에서 규제 문서를 기반으로 한 AV 안전성 검증의 실행 가능성은 어떠한가?

주요 결과

• 체계적인 방법론을 통해 163개의 영국 고속도로 코드 규칙을 형식적 진술로 성공적으로 변환하였으며, 인간이 읽을 수 있는 규칙이 기계 검증에 적합하게 체계적으로 인코딩될 수 있음을 입증하였다.
• Carla 시뮬레이터를 사용한 시뮬레이션 실험에서, 진술 검사가 조기 차선 변경이나 맹독 구역 점검 실패와 같은 추월 절차 위반을 탐지할 수 있음을 확인하였다.
• 영상 데이터 기반 실시간 모니터링을 통해 진술 프레임워크가 실시간 행동 평가에 실현 가능함을 확인하였으며, AV 결정의 추적 가능성을 보장하였다.
• PostGIS 기반 SQL 쿼리를 사용함으로써 차량 궤적과 운전 동작 순서의 공간적·시간적 검증이 효과적으로 수행될 수 있었다.
• 진술 검사 결과, AV의 궤적이 안전해 보일지라도 절차적 규칙 위반은 발생할 수 있음을 확인하였으며, 이는 운동학적 분석 외에 행동적 검증의 필요성을 강조한다.
• 진술 위반을 특정 인지 및 의사결정 단계로 추적할 수 있기 때문에, 이 방법론은 AV에서 설명 가능한 인공지능의 기반을 제공한다. 이는 사고 후 분석을 지원한다.