[논문 리뷰] Software Reliability Growth Models Predict Autonomous Vehicle Disengagement Events

Robert Merkel|arXiv (Cornell University)|2018. 12. 21.

Software Reliability and Analysis Research참고 문헌 6인용 수 9

한 줄 요약

이 논문은 캘리포니아 DMV 공개 테스트 데이터를 기반으로 자율주행차(AV) 시스템의 탈거율을 추정하고 예측하기 위해 소프트웨어 신뢰성 성장 모델(SRGMs), 특히 Musa-Okumoto 및 Gompertz 모델을 사용할 것을 제안한다. Musa-Okumoto 모델은 뛰어난 적합도와 예측 능력을 보였으며, 현실적으로 불가능한 테스트량을 요구하는 방법에 비해, AV의 안전성 평가를 통계적으로 엄밀한 방법으로 제공한다.

ABSTRACT

The acceptance of autonomous vehicles is dependent on the rigorous assessment of their safety. Furthermore, the commercial viability of AV programs depends on the ability to estimate the time and resources required to achieve desired safety levels. Naive approaches to estimating the reliability and safety levels of autonomous vehicles under development are will require infeasible amounts of testing of a static vehicle configuration. To permit both the estimation of current safety, and make predictions about the reliability of future systems, I propose the use of a standard tool for modelling the reliability of evolving software systems, software reliability growth models (SRGMs). Publicly available data from Californian public-road testing of two autonomous vehicle systems is modelled using two of the best-known SRGMs. The ability of the models to accurately estimate current reliability, as well as for current testing data to predict reliability in the future after additional testing, is evaluated. One of the models, the Musa-Okumoto model, appears to be a good estimator and a reasonable predictor.

연구 동기 및 목표

• 실제 테스트 데이터를 기반으로 하여 SRGMs가 자율주행차 시스템의 탈거 사건을 정확하게 모델링하고 예측할 수 있는지 평가하는 것.
• 진행 중인 AV 소프트웨어의 현재 및 향후 신뢰성을 추정하는 데 SRGMs를 활용하는 것이 실현 가능한지 평가하는 것.
• 주요 AV 프로그램의 탈거 데이터에 대해 Musa-Okumoto 또는 Gompertz 모델 중 어느 것이 더 나은 적합도를 보이는지 확인하는 것.
• 사용자가 실현 가능하지 않은 테스트 기간을 요구하는 단순한 안전성 입증 방법에 대한 통계적으로 타당한 대안을 제공하는 것.
• AV 개발자와 규제 당국가 타겟 안전 수준에 도달하기 위해 필요한 시간과 자원을 추정하는 데 도움을 주는 것.

제안 방법

• 캘리포니아의 두 주요 AV 프로그램에서 확보한 탈거 사건 데이터에 대해 잘 알려진 두 가지 SRGMs—Musa-Okumoto(오목형) 및 Gompertz(에스형)—를 적용하는 것.
• 캘리포니아 DMV 보고서에서 확보 가능한 데이터를 기반으로 누적 탈거 수를 시간에 따라 적합화하여 모델을 피팅하는 것.
• 초기 데이터로 학습하고 후속 관측된 탈거율과 비교하여 예측 성능를 평가하는 방식으로 모델 정확도를 평가하는 것.
• 모델 파라미터 및 예측된 탈거율에 대한 신뢰구간을 계산하여 신뢰성 기준에 도달할 수 있는지를 평가하는 것.
• 가능한 한 최대우도추정법을 사용하나, 캘리포니아 DMV 보고서의 데이터 형식으로 인해 제약을 받는다.
• 검증 데이터 세트에서의 예측 정확도와 적합도 지표를 사용하여 모델 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 SRGMs는 공개된 AV 테스트 데이터에서 탈거 사건의 추세를 정확하게 모델링할 수 있는가?
• RQ2 SRGMs는 AV 프로그램의 이전 테스트 데이터를 기반으로 향후 탈거율을 예측할 수 있는가?
• RQ3 Musa-Okumoto 또는 Gompertz 중 어느 SRGM이 AV 탈거 데이터에 더 나은 적합도를 보이는가?
• RQ4 SRGM에서 도출된 신뢰구간을 얼마나 정확히 사용하여 탈거율이 안전 기준 이하일 확률을 추정할 수 있는가?
• RQ5 캘리포니아 DMV 보고서의 의무적 데이터 형식이 SRGM 파라미터 추정의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• Musa-Okumoto SRGM은 Gompertz 모델보다 탈거 데이터에 훨씬 더 뛰어난 적합도를 보였다.
• Musa-Okumoto 모델은 초기 테스트 데이터 기반으로 향후 탈거 추세를 정확하게 예측하는 데 강력한 예측 능력을 보였다.
• 모델 파라미터 및 예측된 탈거율에 대한 신뢰구간은 계산 가능했으며, 이는 안전 기준에 도달할 가능성을 확률적으로 평가하는 데 기여했다.
• 이 연구는 SRGMs가 단순한 안전성 입증 방법이 요구하는 실현 불가능한 테스트량 없이도 현재 및 향후 AV의 신뢰성을 통계적으로 엄밀하게 추정할 수 있음을 확인했다.
• 캘리포니아 DMV의 데이터 형식으로 인해 최대우도추정법의 활용이 제한되었으며, 향후 신뢰성 모델링을 위해 더 나은 데이터 수집 관행이 필요함을 시사했다.
• 결과는 SRGMs가 AV 개발자와 규제 당국가 안전성 진전을 평가하고 개발 일정을 계획하는 데 실용적인 도구로 활용될 수 있음을 뒷받침한다.