[논문 리뷰] From the Lab to the Street: Solving the Challenge of Accelerating Automated Vehicle Testing

Ding Zhao, Huei Peng|arXiv (Cornell University)|2017. 07. 15.

Autonomous Vehicle Technology and Safety인용 수 31

한 줄 요약

이 논문은 자율주행차의 테스트 시간과 비용을 줄이기 위해 일상적인 주행 거리가 아닌 고위험 주행 시나리오에 집중함으로써 가속화된 평가 프레임워크를 제안한다. 일상적인 주행을 걸러내고 드문드문 발생하는 위험한 상황에 초점을 맞춤으로써, 이 방법은 단 1,000마일의 테스트로도 실제 주행 거리 30만 마일에서 1억 마일에 해당하는 테스트 등가성을 달성하며, 테스트 요구사항을 300배에서 10만 배까지 줄였다.

ABSTRACT

As automated vehicles and their technology become more advanced and technically sophisticated, evaluation procedures that can measure the safety and reliability of these new driverless cars must develop far beyond existing safety tests. To get an accurate assessment in field tests, such cars would have to be driven millions or even billions of miles to arrive at an acceptable level of certainty - a time-consuming process that would cost tens of millions of dollars. Instead, researchers affiliated with the University of Michigan's Mcity connected and automated vehicle center have developed an accelerated evaluation process that eliminates the many miles of uneventful driving activity to filter out only the potentially dangerous driving situations where an automated vehicle needs to respond, creating a faster, less expensive testing program. This approach can reduce the amount of testing needed by a factor of 300 to 100,000 so that an automated vehicle driven for 1,000 test miles can yield the equivalent of 300,000 to 100 million miles of real-world driving. While more research and development needs to be done to perfect this technique, the accelerated evaluation procedure offers a ground-breaking solution for safe and efficient testing that is crucial to deploying automated vehicles.

연구 동기 및 목표

• 안전 확보를 위해 수백만 마일의 실제 주행 테스트가 불가능한 현실적인 문제를 해결하기 위해.
• 반복적이고 저위험 주행 시나리오를 제거함으로써 자율주행차 테스트의 시간과 비용을 줄이기 위해.
• 위험하고 특수한 경우에 초점을 맞춘 확장 가능한 평가 방법을 개발하기 위해.
• 수십억 마일의 실제 주행 테스트 없이도 자율주행차의 신뢰할 수 있는 안전 평가를 가능하게 하기 위해.

제안 방법

• 이 방법은 자동차 자율주행 시스템이 도전받는 드문 드문한 고위험 주행 시나리오를 식별하고 우선순위를 정하기 위해 시나리오 기반 테스트를 사용한다.
• 전체 주행 노선을 시뮬레이션하는 대신, 핵심 교통 시나리오를 생성하고 시스템에 강도 있게 테스트하는 시뮬레이션 프레임워크를 적용한다.
• 시스템 장애 발생 가능성이 가장 높은 시나리오에 집중하기 위해 통계적 샘플링을 활용한다.
• 실제 주행 데이터와 합성 시나리오 생성을 통합하여 엣지 케이스의 관련성과 다양성을 확보한다.
• 시스템 반응에 기반해 시나리오를 개선하는 피드백 루프를 활용하여 핵심 행동에 대한 테스트 커버리지를 높인다.
• 안전에 중요한 사건에만 집중함으로써, 테스트에 필요한 마일 수를 300배에서 10만 배까지 줄일 수 있다.

실험 결과

연구 질문

• RQ1 안전 검증의 품질을 훼손하지 않으면서 자율주행차 테스트를 어떻게 가속화할 수 있는가?
• RQ2 어떤 유형의 주행 시나리오가 자율주행차의 시스템 장애를 식별하는 데 가장 효과적인가?
• RQ3 시뮬레이션과 시나리오 우선순위 정렬을 통해 실제 주행 마일 수를 얼마나 대체할 수 있는가?
• RQ4 시스템 신뢰성에 대한 높은 확신을 유지하면서도 테스트 과정을 어떻게 확장 가능하고 비용 효율적으로 만들 수 있는가?

주요 결과

• 제안된 방법은 실제 주행과 비교해 테스트 거리를 300배에서 10만 배까지 줄였다.
• 이 방법을 사용해 1,000마일을 테스트하면 실제 주행 거리 30만 마일에서 1억 마일에 해당하는 안전 검증 결과를 얻을 수 있다.
• 이 방법은 시스템 성능에 대한 높은 신뢰도를 유지하면서도 테스트 시간과 비용을 크게 줄였다.
• 위험한 시나리오에 집중함으로써, 고장 탐지 및 시스템 개선의 효율성이 크게 향상되었다.