[논문 리뷰] Automated Test Cases Prioritization for Self-driving Cars in Virtual Environments.

Christian Birchler, Sajad Khatiri외 3명|arXiv (Cornell University)|2021. 07. 20.

Software Testing and Debugging Techniques참고 문헌 58인용 수 5

한 줄 요약

SDC-Prioritizer는 자율주행차를 위한 메타휴리스틱 테스트 케이스 우선순위 정하기 프레임워크로, 이전 실행 데이터가 필요 없이 정적 도로 특징을 기반으로 가상 테스트를 우선순위에 따라 정렬한다. 다양성 메트릭을 사용하여, 동일한 시간 예산 내에서 랜덤 또는 그레디 기반 기준 대비 안전성에 중요한 결함을 두 배로 더 많이 탐지하며, 테스트 실행 비용에 대해 0.34% 이내의 오버헤드만을 유발한다.

ABSTRACT

Testing with simulation environments helps to identify critical failing scenarios emerging autonomous systems such as self-driving cars (SDCs) and are safer than in-field operational tests. However, these tests are very expensive and are too many to be run frequently within limited time constraints. In this paper, we investigate test case prioritization techniques to increase the ability to detect SDC regression faults with virtual tests earlier. Our approach, called SDC-Prioritizer, prioritizes virtual tests for SDCs according to static features of the roads used within the driving scenarios. These features are collected without running the tests and do not require past execution results. SDC-Prioritizer utilizes meta-heuristics to prioritize the test cases using diversity metrics (black-box heuristics) computed on these static features. Our empirical study conducted in the SDC domain shows that SDC-Prioritizer doubles the number of safety-critical failures that virtual tests can detect at the same level of execution time compared to baselines: random and greedy-based test case orderings. Furthermore, this meta-heuristic search performs statistically better than both baselines in terms of detecting safety-critical failures. SDC-Prioritizer effectively prioritize test cases for SDCs with a large improvement in fault detection while its overhead (up to 0.34% of the test execution cost) is negligible.

연구 동기 및 목표

• 가상 환경을 사용한 자율주행차(SDC) 테스팅의 높은 비용과 스케일 문제를 해결하기 위해.
• 시뮬레이션 테스팅 중 자율주행차의 안전성에 중요한 회귀 결함을 조기에 탐지하기 위해.
• 이전 실행 결과에 의존하지 않고 오직 정적 도로 특징에만 기반한 테스트 케이스 우선순위 정하기 기법을 개발하기 위해.
• 시간 제약 조건이 있는 환경에서 테스팅 오버헤드를 최소화하면서 결함 탐지 효율성을 극대화하기 위해.
• 정적 도로 특징에 대한 다양성 메트릭을 사용한 메타휴리스틱 탐색 전략의 효과를 평가하기 위해.

제안 방법

• SDC-Prioritizer는 테스트를 실행하지 않고도 주행 시나리오에서 정적 도로 특징(예: 도로 유형, 곡률, 차선 수 등)을 추출한다.
• 이 정적 특징을 바탕으로 다양성 메트릭(블랙박스 히우리스틱)을 계산하여 테스트 케이스의 커버리지와 변동성을 추정한다.
• 메타휴리스틱 탐색 알고리즘(예: 유전 알고리즘 또는 시뮬레이티드 어닐링)을 사용해 안전성에 중요한 결함을 탐지할 잠재력이 높은 테스트 케이스를 우선순위에 따라 정렬한다.
• 우선순위 전략은 테스트 셋 실행 초기에 결함 탐지율을 극대화하는 데 중점을 둔다.
• 이 방법은 계산 오버헤드가 최대 총 테스트 실행 비용의 0.34% 이내로 경량화되어 설계되어 있다.
• 실제 자율주행차 시뮬레이션 환경에서 대표적인 테스트 케이스 세트를 사용해 이 접근법을 평가하였다.

실험 결과

연구 질문

• RQ1 정적 도로 특징 기반의 테스트 케이스 우선순위 정하기가 자율주행차 시뮬레이션에서 안전성에 중요한 결함을 조기에 탐지하는 데 효과적인가?
• RQ2 SDC-Prioritizer는 랜덤 및 그레디 기반의 테스트 순서 전략에 비해 결함 탐지 효율성에서 어떻게 비교되는가?
• RQ3 테스트 실행 비용 측면에서 SDC-Prioritizer의 성능 오버헤드는 얼마인가?
• RQ4 정적 특징에 메타휴리스틱 탐색과 다양성 메트릭을 적용할 경우, 결함 탐지에 통계적으로 유의미한 향상이 이루어지는가?
• RQ5 실행 이력 없이 정적 특징만으로도 자율주행차 테스팅에서 효과적으로 테스트 우선순위를 정할 수 있는가?

주요 결과

• SDC-Prioritizer는 동일한 시간 예산 내에서 랜덤 테스트 순서에 비해 안전성에 중요한 결함을 두 배로 더 많이 탐지한다.
• 그레디 기반 테스트 순서 전략에 비해 안전성에 중요한 결함 탐지에서 유의미한 성능 향상을 보이며, 통계적으로 유의미한 개선을 이룬다.
• 이 방법은 총 테스트 실행 비용의 최대 0.34% 이내의 극히 미미한 계산 오버헤드로 이러한 개선을 달성한다.
• 정적 도로 특징과 다양성 메트릭을 사용함으로써 이전 실행 결과가 필요 없이 효과적인 우선순위 정하기가 가능하다.
• 메타휴리스틱 탐색 전략은 높은 영향을 미치는 테스트 케이스를 조기에 우선순위에 배치하기 위해 테스트 셋 공간을 효과적으로 탐색한다.
• 실증 평가를 통해 정적 특징 기반 우선순위 정하기가 자율주행차 가상 테스팅에 있어 확장 가능하고 효과적인 것으로 확인되었다.