[論文レビュー] Software Reliability Growth Models Predict Autonomous Vehicle Disengagement Events

Robert Merkel|arXiv (Cornell University)|Dec 21, 2018

Software Reliability and Analysis Research参考文献 6被引用数 9

ひとこと要約

本稿では、カリフォルニア州DMVの公表テストデータを基に、自動運転車（AV）システムの脱退率を推定・予測するために、ソフトウェア信頼性成長モデル（SRGMs）を提案している。特に、Musa-OkumotoモデルとGompertzモデルを用いた。Musa-Okumotoモデルは良好な適合度と予測能力を示し、現実的でないほどのテスト量を要する方法に代わる統計的に厳密な手法を提供した。

ABSTRACT

The acceptance of autonomous vehicles is dependent on the rigorous assessment of their safety. Furthermore, the commercial viability of AV programs depends on the ability to estimate the time and resources required to achieve desired safety levels. Naive approaches to estimating the reliability and safety levels of autonomous vehicles under development are will require infeasible amounts of testing of a static vehicle configuration. To permit both the estimation of current safety, and make predictions about the reliability of future systems, I propose the use of a standard tool for modelling the reliability of evolving software systems, software reliability growth models (SRGMs). Publicly available data from Californian public-road testing of two autonomous vehicle systems is modelled using two of the best-known SRGMs. The ability of the models to accurately estimate current reliability, as well as for current testing data to predict reliability in the future after additional testing, is evaluated. One of the models, the Musa-Okumoto model, appears to be a good estimator and a reasonable predictor.

研究の動機と目的

• 実世界のテストデータに基づき、SRGMsが自動運転車システムにおける脱退イベントを正確にモデル化・予測できるかどうかを評価すること。
• 進化するAVソフトウェアの現在および将来の信頼性を推定するためのSRGMsの実用可能性を評価すること。
• 主なAVプログラムの脱退データに最も適したSRGM—Musa-OkumotoモデルかGompertzモデルかを特定すること。
• 現実的でないほどのテスト期間を要する単純な安全証明手法に代わる統計的に妥当な代替手法を提供すること。
• AV開発者および規制当局が、目標安全水準に到達するまでの期間とリソースを推定する支援をすること。

提案手法

• カリフォルニア州の2つの主要なAVプログラムの脱退イベントデータに、よく知られた2つのSRGMs—Musa-Okumoto（凹型）およびGompertz（S字型）—を適用すること。
• カリフォルニア州DMVレポートに掲載されたデータに基づき、累積脱退回数を時間の関数としてモデル化し、パラメータ推定を実施すること。
• 初期データでモデルを訓練し、後続の観測された脱退率と照らし合わせて予測精度を評価することで、モデルの正確性を検証すること。
• モデルパラメータおよび予測された脱退率の信頼区間を計算し、信頼性の閾値を評価すること。
• 可能な限り最尤推定を用いるが、カリフォルニア州DMVレポートのデータ形式に制約を受けること。
• ホールドアウトデータにおける適合度指標と予測精度を用いて、モデルの性能を比較すること。

実験結果

リサーチクエスチョン

• RQ1 SRGMsは、公表済みのAVテストデータにおける脱退イベントのトレンドを正確にモデル化できるか？
• RQ2 SRGMsは、AVプログラムの歴史的テストデータに基づき、将来の脱退率を予測できるか？
• RQ3 Musa-OkumotoモデルとGompertzモデルのうち、どちらがAV脱退データにより適した適合度を示すか？
• RQ4 SRGMから得られる信頼区間を、脱退率が安全閾値を下回る確率を推定するためにどの程度活用できるか？
• RQ5 カリフォルニア州DMVレポートの義務付けられたデータ形式は、SRGMのパラメータ推定の信頼性にどのような影響を及えるか？

主な発見

• Musa-Okumoto SRGMは、Gompertzモデルよりも脱退データに対して著しく優れた適合度を示した。
• Musa-Okumotoモデルは、初期テストデータに基づき、将来の脱退トレンドを正確に予測する強力な予測能力を示した。
• モデルパラメータおよび予測された脱退率の信頼区間は計算可能であり、安全閾値の確率的評価を可能にした。
• 本研究では、単純な安全証明手法が要求する現実的でないほどのテスト量を要しない統計的に厳密な現在および将来のAV信頼性の推定が可能であることが確認された。
• カリフォルニア州DMVのデータ形式が最尤推定の利用を制限しており、今後の信頼性モデリングのためのデータ収集手法の改善が求められることが示された。
• 結果から、SRGMsはAV開発者および規制当局が安全進捗を評価し、開発スケジュールを計画するための実用的かつ有効なツールであることが裏付けられた。