[논문 리뷰] A Method for Classifying Test Bench Configurations in a Scenario-Based Test Approach for Automated Vehicles

Markus Steimle, Till Menzel외 1명|arXiv (Cornell University)|2019. 05. 22.

Autonomous Vehicle Technology and Safety참고 문헌 4인용 수 4

한 줄 요약

이 논문은 자율주행차의 시나리오 기반 테스트에서 테스트 벤치 구성에 대한 체계적이고 레이더 차트 기반의 분류 방법을 제안한다. 시뮬레이션, 에뮬레이션, 실제 환경 단계에서 차량 동역학, 환경 감지, 사용자 상호작용 등의 功能적 차원을 정의함으로써, 테스트 벤치 구성의 모호함 없는 분류를 가능하게 하여, 검증 요구사항에 따라 최적의 구성에 테스트 케이스를 자동으로 효율적이고 효과적으로 할당할 수 있는 기반을 마련한다.

ABSTRACT

The introduction of automated vehicles demands a way to prove their safe operation. However, validating the safety of automated vehicles is still an unsolved problem. While the scenario-based test approach seems to provide a possible solution, it requires the execution of a high amount of test cases. Several test benches, from actual test vehicles to partly or fully simulated environments, are available, but choosing the optimal test bench, e.g. in terms of required execution time and costs, is a difficult task. Every test bench provides different elements, e.g. simulation models which can be used for test case execution. The composition of elements at a specific test bench is called test bench configuration. This test bench configuration determines the actual performance of a test bench and, therefore, whether the run of a particular test case provides valid test case results with respect to the intended purpose, e.g. a safety validation. For an effective and efficient test case execution, a method is required to assign test cases to the most appropriate test bench configuration. Therefore, it is indispensable to have a method to classify test bench configurations in a clear and reproducible manner. In this paper, we propose a method for classifying test benches and test bench configurations and illustrate the classification method with some examples. The classification method serves as a basis for a systematic assignment of test cases to test bench configurations which allows for an effective and efficient test case execution.

연구 동기 및 목표

• 시나리오 기반 테스트에서 풍부한 테스트 케이스 수를 감안할 때 자율주행차를 검증하기 위한 최적의 테스트 벤치 구성 선택의 과제를 해결하기 위해.
• 스케일에 비례해 적용이 불가능한 수준의 수작업 및 전문가 중심의 시뮬레이션 모델 및 테스트 벤치 구성 선택의 한계를 극복하기 위해.
• 기능적 능력과 구성 요소 조합에 기반해 테스트 벤치 구성의 정의된, 재현 가능한 방법을 제공하기 위해.
• 안전 검증을 위한 유효한 결과를 보장하기 위해, 테스트 케이스를 가장 적합한 테스트 벤치 구성에 체계적이고 자동으로 할당할 수 있도록 하기 위해.
• 테스트 벤치 능력과 테스트 케이스 요구사항을 일치시킴으로써 효율적이고 비용 효율적인 테스트를 위한 기반을 마련하기 위해.

제안 방법

• 자율주행차의 기능적 시스템 아키텍처의 인터페이스를 바탕으로 기능적 차원을 정의하며, 사용자 및 환경과의 상호작용을 포함한다.
• 세 단계로 분류 구조를 구성한다: 시뮬레이션(1), 에뮬레이션(2), 실제(3)로, 정밀도와 물리적 통합 수준이 증가하는 순서이다.
• 레이더 차트를 사용해 테스트 벤치 구성의 시각화를 수행하며, 축은 차원(예: 차량 동역학, 환경 센서)을 나타내고, 데이터 포인트는 각 단계에서 이용 가능한 요소를 나타낸다.
• 각 테스트 벤치 구성은 차량 동역학, 환경 감지 등 모든 차원에서 이용 가능한 시뮬레이션, 에뮬레이션, 실제 요소의 고유한 조합으로 모델링한다.
• 각 차원에서 요소의 존재 여부와 유형(예: 단궤도 대비 이중궤도 차량 동역학 모델)을 명시적으로 정의함으로써 모호한 분류를 방지한다.
• 소프트웨어 인 더 루프 테스트 벤치와 물리적 테스트 차량 등의 실제 사례에 적용하여, 방법의 실현 가능성과 명확성을 입증한다.

실험 결과

연구 질문

• RQ1 자동주행차 검증에서 자동화된 테스트 케이스 할당을 지원하기 위해 테스트 벤치 구성은 어떻게 체계적으로 분류될 수 있는가?
• RQ2 시나리오 기반 테스트에서 자율주행차에 사용되는 테스트 벤치의 능력을 표현하기 위해 필수적인 기능적 차원은 무엇인가?
• RQ3 시뮬레이션 요소의 정밀도와 구성(예: 차량 동역학, 센서 모델)은 어떻게 공식적으로 기록하고 비교할 수 있는가?
• RQ4 제안된 분류 방법은 수작업 전문가 선택에 비해 테스트 케이스 실행을 얼마나 더 효율적이고 효과적으로 만들 수 있는가?
• RQ5 이 분류 방법은 구성 선택에 기반해 안전 검증에 적합한 유효한 테스트 케이스 결과만 생성할 수 있도록 보장할 수 있는가?

주요 결과

• 제안된 분류 방법은 정의된 기능적 차원을 갖춘 레이더 차트를 사용해 테스트 벤치 구성의 명확하고 재현 가능한 특성화를 가능하게 한다.
• 각 테스트 벤치 구성은 차량 동역학, 환경 감지 등의 차원에서 이용 가능한 요소(예: 시뮬레이션 모델)의 조합으로 고유하게 정의된다.
• 이 방법은 소프트웨어 인 더 루프 테스트 벤치에서 단궤도 모델과 이중궤도 모델을 사용하는 두 가지 구분 가능한 구성의 식별을 가능하게 하여, 구성 차별화를 입증한다.
• 분류 방법은 요구되는 검증 정밀도와 일치하는 구성에 테스트 케이스를 체계적으로 할당할 수 있도록 하여 테스트 효율성을 향상시킨다.
• 이 방법은 향후 테스트 케이스 할당의 자동화를 위한 공식적 기반을 제공하며, 주관적인 전문가 판단에 대한 의존도를 감소시킨다.
• 소프트웨어 인 더 루프 테스트 벤치와 물리적 테스트 차량을 포함한 구체적 사례를 통해 방법의 실용적 적용 가능성이 검증되었다.