[논문 리뷰] Sequential experimentation to efficiently test automated vehicles

Zhiyuan Huang, Henry Lam외 1명|arXiv (Cornell University)|2017. 12. 03.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 7

한 줄 요약

이 논문은 자율주행차의 실차 테스트 비용을 최소화하기 위해 크리징 기반 대체 모델을 활용한 순차적 실험 프레임워크를 제안한다. 시뮬레이션 기반 경사 하강법을 활용해 다음 테스트 시나리오를 지능적으로 선택함으로써 실험 횟수를 크게 줄이고 안전 평가의 효율성을 향상시킨다. 수치적 사례 연구를 통해 이를 입증하였다.

ABSTRACT

Automated vehicles have been under heavy developments in major auto and tech companies and are expected to release into market in the foreseeable future. However, the road safety of these vehicles remains a concern. One approach to evaluate their safety is via on-track experimentation, but this requires gigantic costs and time investments. This paper discusses a sequential learning approach based on kriging models to reduce the experimental runs and economize on-track experimentation. The approach relies on a heuristic simulation-based gradient descent procedure to search for the best next test scenario. We demonstrate our approach with some numerical test cases.

연구 동기 및 목표

• 자율주행차의 실차 테스트에 따른 높은 비용과 시간 부담을 해결하기 위해.
• 자율주행차 개발 과정에서의 안전 평가 효율성을 향상시키기 위해.
• 실제 테스트에서 요구되는 실험 횟수를 최소화하기 위해.
• 고영향도 테스트 시나리오를 우선순위 정하기 위한 데이터 기반 접근법을 개발하기 위해.
• 확장 가능하고 비용 효율적인 자율주행차 시스템의 안전 검증을 가능하게 하기 위해.

제안 방법

• 제한된 실험 데이터로부터 안전 성과를 예측하기 위해 크리징 모델을 대체 모델로 활용한다.
• 다음으로 가장 정보가 많은 테스트 시나리오를 식별하기 위해 히우리스틱 기반 시뮬레이션 기반 경사 하강법을 구현한다.
• 새로운 실험 결과를 반복적으로 업데이트하여 예측을 정교화하기 위해 크리징 모델을 반복적으로 갱신한다.
• 기대 개선도 기준을 사용해 테스트 시나리오 선택에서 탐색과 이용의 균형을 유지한다.
• 후보 시나리오를 실제 테스트 이전에 평가하기 위해 시뮬레이션 환경을 통합한다.
• 축적된 데이터에 기반해 실험 설계를 동적으로 조정하여 정보 수득을 최대화한다.

실험 결과

연구 질문

• RQ1 실차 테스트 횟수를 최소화하면서 자율주행차의 실차 테스트를 어떻게 더 효율적으로 만들 수 있는가?
• RQ2 크리징 기반 대체 모델을 사용할 경우 요구되는 테스트 시나리오 수가 얼마나 줄어들 수 있는가?
• RQ3 시뮬레이션 기반 경사 하강법은 고정보 테스트 시나리오를 선택하는 데 얼마나 효과적인가?
• RQ4 순차적 실험을 통해 안전 평가의 엄밀함을 유지하면서 비용과 시간을 줄일 수 있는가?
• RQ5 자율주행차 검증에서 테스트 커버리지와 실험 효율성 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 순차적 실험 접근법은 실차 테스트 횟수를 크게 줄였다.
• 크리징 모델은 제한된 데이터로도 안전 성능의 전반적 경관을 효과적으로 포착한다.
• 시뮬레이션 기반 경사 하강 절차는 고영향도 테스트 시나리오를 성공적으로 식별하였다.
• 수치적 테스트 케이스를 통해 적은 수의 실험으로도 임계 안전 시나리오에 빠르게 수렴하는 것을 입증하였다.
• 이 방법은 정보 수득을 극대화하는 데 초점을 맞춘 테스트 시나리오의 효율적 우선순위 정렬을 가능하게 하였다.
• 실제 테스트에 대한 의존도를 최소화함으로써 확장 가능한 안전 검증을 지원하는 프레임워크를 제공하였다.