[논문 리뷰] Kayotee: A Fault Injection-based System to Assess the Safety and Reliability of Autonomous Vehicles to Faults and Errors

Saurabh Jha, Timothy Tsai외 5명|arXiv (Cornell University)|2019. 07. 01.

Autonomous Vehicle Technology and Safety참고 문헌 14인용 수 33

한 줄 요약

Kayotee는 자율주행 소프트웨어 스택에 하드웨어 및 소프트웨어 결함을 체계적으로 주입하여 결함 전파, 마스킹, 및 폐쇄 루프 ADS 환경에서의 안전 영향에 대해 연구하는 결함 주입 도구이자 온톨로지입니다.

ABSTRACT

Fully autonomous vehicles (AVs), i.e., AVs with autonomy level 5, are expected to dominate road transportation in the near-future and contribute trillions of dollars to the global economy. The general public, government organizations, and manufacturers all have significant concern regarding resiliency and safety standards of the autonomous driving system (ADS) of AVs . In this work, we proposed and developed (a) `Kayotee' - a fault injection-based tool to systematically inject faults into software and hardware components of the ADS to assess the safety and reliability of AVs to faults and errors, and (b) an ontology model to characterize errors and safety violations impacting reliability and safety of AVs. Kayotee is capable of characterizing fault propagation and resiliency at different levels - (a) hardware, (b) software, (c) vehicle dynamics, and (d) traffic resilience. We used Kayotee to study a proprietary ADS technology built by Nvidia corporation and are currently applying Kayotee to other open-source ADS systems.

연구 동기 및 목표

• 자율주행 차량의 안전성과 신뢰성 문제를 동기화하고 ML 모델을 넘어선 컴퓨트 스택의 회복력 연구의 필요성을 제시합니다.
• ADS의 소프트웨어와 하드웨어 구성요소 모두에 일시적 결함을 주입하고 안전 결과를 관찰하기 위해 Kayotee를 개발합니다.
• 하드웨어, 소프트웨어, 차량 동역학, 교통 맥락 전반에 걸친 결함 전파 및 마스킹 특성을 특성화합니다.
• 결함 조건에서 ADS의 회복력과 안전 위반을 정량화하기 위한 방법론과 온톨로지를 제공합니다.

제안 방법

• ADS 모듈에 하드웨어 결함(GPU/CPU 아키텍처 상태)과 소프트웨어 상태 오류(SLI)를 주입할 수 있는 결함 주입 도구(Kayotee).
• XML 구성으로 주입 지점, 결함 유형 및 시나리오를 선택하는 캠페인 매니저와, 재현 가능한 폐쇄 루프 실행을 위한 결정적 이벤트 기반 동기화를 제공합니다.
• GPU 결함 모델: 실행 명령의 아키텍처 상태에서 비트 플립이 발생하여 레지스터와 저장 값 등을 겨냥하며 SASSIFI를 모방합니다.
• SLI 결함 모델: 무작위, 고정, 스케일, 소멸을 ADS의 객체 인식, 차선 좌표, 제어 명령 등 선택된 출력에 적용합니다.
• DriveSim 기반 시뮬레이션을 활용한 시나리오 풍부한 평가로, 차량 동역학 및 작동 명령 측면에서 결함 없는(골든) 출력과 주입된 출력을 생성하고 비교합니다.
• 활성화된 결함, DUEs, SD Cs, 작동 오류를 구분하기 위한 온톨로지 및 IQR 기반 이상치 라벨링으로 충돌 거리, 제동 거리 등 안전 지표에 연결됩니다.

실험 결과

연구 질문

• RQ1 ADS의 어떤 소프트웨어 모듈이 결함/오류에 가장 취약한가요(예: 객체 인식, 위치 추정, 계획)?
• RQ2 ADS의 오류가 안전성/신뢰성 저하에 데이터 품질/ML 부정확성보다 더 큰 기여를 하나요?
• RQ3 결함 조건에서 안전성/회복력과 입력 트래픽 특성 간에 통계적 상관관계가 있나요?
• RQ4 CPU와 GPU 간에 오류 취약성에 통계적 차이가 있나요?

주요 결과

• Kayotee는 하드웨어, 소프트웨어, 차량 동역학 및 트래픽 수준에서의 오류 전파 및 마스킹 특성화를 가능하게 합니다.
• 프레임워크는 GPU/CPU 아키텍처 상태의 비트 플립 주입과 ADS 입력/출력의 손상을 지원하여 회복력을 연구합니다.
• Kayotee는 Nvidia DriveWorks에서 시연되었으며, 더 넓은 적용 가능성을 위해 Apollo/OpenPilot 및 CARLA로 확장할 계획이 있습니다.
• 온톨로지는 결함 표현을 안전 결과(DUEs, SD Cs, 작동 오류 포함)에 연결하고, 시나리오에 독립적인 안전 지표인 안전 범위 초과와 차선 중앙 유지 위반 등을 사용합니다.
• 저자들은 Kayotee의 기능을 기존 연구(예: AVFI)와 비교하고 ADS 안전에 대한 결함 효과의 폐쇄 루프, 엔드 투 엔드 평가를 강조합니다.