[論文レビュー] Kayotee: A Fault Injection-based System to Assess the Safety and Reliability of Autonomous Vehicles to Faults and Errors

Saurabh Jha, Timothy Tsai+5 more|arXiv (Cornell University)|Jul 1, 2019

Autonomous Vehicle Technology and Safety参考文献 14被引用数 33

ひとこと要約

Kayotee は自律走行ソフトウェアスタックへハードウェアおよびソフトウェアの故障を系統的に注入する fault-injection ツールとオントロジーであり、閉ループ ADS 環境における故障伝播、マスキング、及び安全性への影響を研究します。

ABSTRACT

Fully autonomous vehicles (AVs), i.e., AVs with autonomy level 5, are expected to dominate road transportation in the near-future and contribute trillions of dollars to the global economy. The general public, government organizations, and manufacturers all have significant concern regarding resiliency and safety standards of the autonomous driving system (ADS) of AVs . In this work, we proposed and developed (a) `Kayotee' - a fault injection-based tool to systematically inject faults into software and hardware components of the ADS to assess the safety and reliability of AVs to faults and errors, and (b) an ontology model to characterize errors and safety violations impacting reliability and safety of AVs. Kayotee is capable of characterizing fault propagation and resiliency at different levels - (a) hardware, (b) software, (c) vehicle dynamics, and (d) traffic resilience. We used Kayotee to study a proprietary ADS technology built by Nvidia corporation and are currently applying Kayotee to other open-source ADS systems.

研究の動機と目的

• 自動運転車の安全性と信頼性の懸念を動機づけ、ML モデルを超えた計算スタックの耐障害性を研究する必要性を示す。
• ADS のソフトウェアおよびハードウェア両方の成分へ一過性の故障を注入し、安全結果を観察するために Kayotee を開発する。
• ハードウェア、ソフトウェア、車両ダイナミクス、および交通環境全体にわたる故障伝播とマスキングを特徴づける。
• 故障条件下の ADS の耐障害性と安全性違反を定量化する方法論とオントロジーを提供する。

提案手法

• ADS モジュールへ GPU/CPU のアーキテクチャ状態のハードウェア故障と、SLI のソフトウェア状態エラーを注入できる fault injection ツール（Kayotee）。
• XML 設定によって故障サイト、故障種別、シナリオを選択し、繰り返し可能な閉ループ実行を保証する決定論的イベント駆動同期を備えたキャンペーンマネージャ。
• GPU 故障モデル：実行命令のアーキテクチャ状態にビット反転を生じさせ、レジスタと格納値を標的化する、SASSIFI に基づくモデル。
• SLI 故障モデル：選択された ADS 出力（オブジェクト認識、車線座標、制御命令 など）に対してランダム、固定、スケール、ディスアピアを適用。
• DriveSim ベースのシミュレーションを用いたシナリオ豊富な評価により、故障なし（ゴールデン）出力と注入後出力を車両ダイナミクスと作動命令の観点で比較。
• 故障の発現、DUEs、SD Cs、作動誤差を区別するオントロジーと IQR ベースの外れ値ラベリングを用い、安全指標（衝突距離、停止距離など）に接続する。

実験結果

リサーチクエスチョン

• RQ1 ADS のどのソフトウェアモジュールが最も故障/エラーに対して脆いか（例: オブジェクト認識、位置推定、計画）？
• RQ2 ADS のエラーはデータ品質/ML の不正確さより安全性/信頼性の低下に寄与する割合が大きいか？
• RQ3 故障条件下での入力交通特性と安全性/耐性の間に統計的な関係はあるか？
• RQ4 CPU と GPU の間でエラーの感受性に統計的な差はあるか？

主な発見

• Kayotee はハードウェア、ソフトウェア、車両ダイナミクス、交通レベルでのエラー伝播とマスキングの特徴付けを可能にする。
• フレームワークは GPU/CPU アーキテクチャ状態へのビット反転の注入と ADS 入力/出力の改ざんをサポートし、耐性を研究する。
• Kayotee は Nvidia DriveWorks 上で実証され、広い適用性のために Apollo/OpenPilot および CARLA への拡張計画がある。
• オントロジーは故障の現れを安全性の成果（DUEs、SD Cs、作動誤差）に結びつけ、シナリオ非依存の安全指標（安全域の侵害、車線中央化の侵害 など）を用いる。
• 著者らは Kayotee の機能を先行研究（例: AVFI）と比較し、ADS の安全性に対する故障の影響を閉ループ、エンドツーエンドで評価する点を強調する。