[논문 리뷰] A Survey on Automated Driving System Testing: Landscapes and Trends

Shuncheng Tang, Zhenya Zhang외 9명|arXiv (Cornell University)|2022. 06. 13.

Vehicular Ad Hoc Networks (VANETs)인용 수 5

한 줄 요약

이 종합적 서베이는 자율주행 시스템(ADS) 테스팅에 대한 포괄적인 분석을 제공하며, 모듈 수준 및 시스템 수준의 테스팅 접근 방식을 모두 포함한다. 모듈 간 기술적 차이를 규명하고, 시뮬레이션 테스팅과 실제 환경 테스팅 간 격차를 부각하며, ADS의 안전성과 신뢰성 향상을 위한 주요 과제와 향후 연구 방향을 제시한다.

ABSTRACT

Automated Driving Systems (ADS) have made great achievements in recent years thanks to the efforts from both academia and industry. A typical ADS is composed of multiple modules, including sensing, perception, planning, and control, which brings together the latest advances in different domains. Despite these achievements, safety assurance of ADS is of great significance, since unsafe behavior of ADS can bring catastrophic consequences. Testing has been recognized as an important system validation approach that aims to expose unsafe system behavior; however, in the context of ADS, it is extremely challenging to devise effective testing techniques, due to the high complexity and multidisciplinarity of the systems. There has been great much literature that focuses on the testing of ADS, and a number of surveys have also emerged to summarize the technical advances. Most of the surveys focus on the system-level testing performed within software simulators, and they thereby ignore the distinct features of different modules. In this paper, we provide a comprehensive survey on the existing ADS testing literature, which takes into account both module-level and system-level testing. Specifically, we make the following contributions: (1) we survey the module-level testing techniques for ADS and highlight the technical differences affected by the features of different modules; (2) we also survey the system-level testing techniques, with focuses on the empirical studies that summarize the issues occurring in system development or deployment, the problems due to the collaborations between different modules, and the gap between ADS testing in simulators and the real world; (3) we identify the challenges and opportunities in ADS testing, which pave the path to the future research in this field.

연구 동기 및 목표

• ADS 테스팅 문헌에 대한 통합적 개요 제공: 모듈 수준 및 시스템 수준 테스팅 접근 방식 통합.
• 각 ADS 모듈(감지, 인식, 계획, 제어)의 기능과 요구사항의 차이로 인한 테스팅 기술적 차이 분석.
• 시뮬레이션 기반 테스팅과 실제 환경 배포 간 지속적인 격차 식별 및 논의, 기존 시뮬레이터의 한계 포함.
• 특히 복잡하고 상호작용이 많은 환경에서 고장 진단, 테스트 오라클, 테스트 적합성의 과제 강조.
• ADS 테스팅 향후 연구 기회 개선: 특히 현실성, 효율성, 안전성 확보 향상 방향 제시.

제안 방법

• 소프트웨어 공학, 인공지능, 교통, 보안 분야의 다양한 학술 행사에서 발표된 220篇 이상의 논문을 대상으로 한 체계적 문헌 리뷰.
• 테스트 방법, 테스트 오라클 설계, 테스트 적합성 기준을 중심으로 모듈 유형별 테스트 기법 분류.
• 실패 분석 및 모듈 간 상호작용 문제 포함, 실증적 연구를 통한 시스템 수준 테스팅 분석.
• 고정밀 시뮬레이터(CARLA, LGSVL 등)를 활용한 시뮬레이션 기반 테스팅 평가: 현실성 및 커버리지 중점.
• 실제 환경과 시뮬레이션을 연결하기 위한 혼합 현실 테스팅 패러다임(HiL, ViL, SciL) 조사.
• 테스팅 문헌 및 실제 환경 배포 보고서에서 반복되는 문제들을 주제 분석을 통해 핵심 과제 식별.

실험 결과

연구 질문

• RQ1 감지, 인식, 계획, 제어와 같은 주요 ADS 모듈 간 테스팅 방법, 오라클, 적합성 기준의 주요 차이점은 무엇인가?
• RQ2 특히 모듈 간 상호작용과 장애 확산을 고려할 때, 시스템 수준 테스팅의 주요 과제와 한계는 무엇인가?
• RQ3 현실 세계 테스팅과 비교할 때 현재의 시뮬레이션 기반 테스팅 환경은 현실성, 커버리지, 신뢰성 측면에서 어떻게 다를까?
• RQ4 ADS 장애의 고장 원인 분석 및 진단 분야에서 열려 있는 연구 문제는 무엇인가?
• RQ5 실제 테스팅의 비용과 위험을 줄이기 위해 시뮬레이션 기반 테스팅을 어떻게 효과적으로 활용할 수 있는가?

주요 결과

• 모듈 수준 테스팅은 기능에 따라 상당한 차이를 보인다: 인식 테스팅은 센서 노이즈와 악성 입력에 대한 강건성에 중점을 두며, 계획 및 제어 테스팅은 궤적 안전성과 제어 안정성에 중점을 둔다.
• 시스템 수준의 실패 대부분은 고립된 모듈 고장보다는 모듈 간 복잡한 상호작용에서 기인하므로, 교차 모듈 테스팅 전략이 필요하다.
• 다양한 발전에도 불구하고 시뮬레이터는 여전히 복잡한 교통 상황에서 실제 환경의 동역학을 완전히 재현하지 못해 시뮬레이션과 현실 간 격차가 지속된다.
• 하드웨어 인 더 루프(HiL) 및 차량 인 더 루프(ViL) 테스팅은 잘 정착되어 있으나, 시나리오 인 더 루프(SciL)는 여전히 이론적이며 활용도가 낮다.
• 모듈 간 표준화된 오라클 및 테스트 적합성 측정 기준이 부족하여 비교 평가 및 검증이 어려운 상황이다.
• 시뮬레이션에서 현실로의 격차를 추정하려는 노력은 점점 늘어나고 있으나, 이 격차를 효과적으로 정량화하거나 완화하기 위한 통합 프레임워크는 아직 존재하지 않는다.