[논문 리뷰] Accelerated Evaluation of Automated Vehicles in Car-Following Maneuvers

Ding Zhao, Xianan Huang외 3명|arXiv (Cornell University)|2016. 07. 10.

Traffic and Road Safety인용 수 6

한 줄 요약

이 논문은 실제 주행 데이터를 기반으로 중요도 표본 추출을 적용하여 자율주행차와 운전사가 운전하는 차량 간의 고강도 추월 상호작용을 시뮬레이션하는 Accelerated Evaluation을 제안한다. 자연주의적 운전 행동 통계를 수정함으로써 중요도 표본 추출 이론의 통계적 보장 조건을 유지하면서도 테스트 기간을 300배에서 100,000배로 단축시킨다.

ABSTRACT

The safety of Automated Vehicles (AVs) must be assured before their release and deployment. The current approach to evaluation relies primarily on (i) testing AVs on public roads or (ii) track testing with scenarios defined in a test matrix. These two methods have completely opposing drawbacks: the former, while offering realistic scenarios, takes too much time to execute; the latter, though it can be completed in a short amount of time, has no clear correlation to safety benefits in the real world. To avoid the aforementioned problems, we propose Accelerated Evaluation, focusing on the car-following scenario. The stochastic human-controlled vehicle (HV) motions are modeled based on 1.3 million miles of naturalistic driving data collected by the University of Michigan Safety Pilot Model Deployment Program. The statistics of the HV behaviors are then modified to generate more intense interactions between HVs and AVs to accelerate the evaluation procedure. The Importance Sampling theory was used to ensure that the safety benefits of AVs are accurately assessed under accelerated tests. Crash, injury and conflict rates for a simulated AV are simulated to demonstrate the proposed approach. Results show that test duration is reduced by a factor of 300 to 100,000 compared with the non-accelerated (naturalistic) evaluation. In other words, the proposed techniques have great potential for accelerating the AV evaluation process.

연구 동기 및 목표

• 긴 실차 테스트나 분리된 테스트 매트릭스에 의존하는 전통적인 자율주행차(AV) 평가 방법의 비효율성을 해결하기 위해.
• 안전 검증 정확도를 희생시키지 않고도 AV 평가를 가속화하는 방법을 개발하기 위해.
• 실제 인간의 운전 행동을 활용하여 고강도 테스트 시나리오를 생성하는 통계적으로 엄밀한 프레임워크를 구축하기 위해.
• 추월 동작에서 자율주행차의 더 빠르고 확장 가능하며 신뢰할 수 있는 안전성 평가를 가능하게 하기 위해.

제안 방법

• 미시간 대학교 Safety Pilot Model Deployment에서 확보한 130만 마일에 달하는 자연주의적 주행 데이터를 활용해 스토하스틱한 운전사가 운전하는 차량(HV) 행동을 모델링한다.
• 특히 주행 간격 시간과 가속도의 통계 분포를 수정하여 자율주행차와의 더 강도 높고 안전성에 중대한 영향을 미치는 상호작용을 생성한다.
• 중요도 표본 추출을 적용하여 시뮬레이션 결과를 재가중함으로써, 고속 테스트 조건에도 불구하고 충돌, 부상, 갈등 빈도 등의 안전 지표가 편향되지 않도록 보장한다.
• 확률적 프레임워크를 사용하여 가속화된 시나리오 하에서의 안전성 성능을 추정함으로써 통계적 타당성을 유지한다.
• 대표적인 AV를 대상으로 자연주의적 조건과 가속화된 조건에서의 추월 시나리오 시뮬레이션을 통해 방법을 검증한다.
• 희귀하지만 중요한 사고 유형에 집중적으로 표본 추출함으로써, 빠른 평가를 가능하게 하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 통계 정확도나 실제 세계의 관련성을 훼손하지 않으면서도 자율주행차(AV)의 안전성을 더 효율적으로 평가할 수 있는가?
• RQ2 어떻게 자연주의적 주행 데이터를 활용하여 평가를 가속화하는 고강도 테스트 시나리오를 생성할 수 있는가?
• RQ3 테스트 조건이 가속화될 경우 중요도 표본 추출이 안전 지표의 정확성을 얼마나 잘 유지할 수 있는가?
• RQ4 추월 시나리오에서 자율주행차(AV)의 신뢰할 수 있는 안전성 평가를 유지하면서도 테스트 기간을 얼마나 단축시킬 수 있는가?
• RQ5 수정된 인간 운전 행동 통계는 자율주행차 평가에서 충돌, 부상, 갈등 빈도의 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 Accelerated Evaluation 방법은 실제 데이터를 사용한 자연주의적 평가 대비 테스트 기간을 300배에서 100,000배로 단축시킨다.
• 중요도 표본 추출을 통해 충돌, 부상, 갈등 빈도와 같은 안전 지표의 정확한 추정을 유지한다.
• 인간 차량 행동의 통계 분포를 수정함으로써 더 강도 높은 상호작용을 생성하여 안전성에 중대한 영향을 미치는 사건의 발생을 가속화한다.
• 기존 방법에 비해 훨씬 적은 수의 시뮬레이션 실행으로도 신뢰할 수 있는 안전성 평가가 가능하다.
• 이 프레임워크는 추월 시나리오에서 자율주행차의 확장 가능하고 효율적인 안전성 검증에 강력한 잠재력을 보여준다.