[論文レビュー] Predicting Model Failure using Saliency Maps in Autonomous Driving Systems

Sina Mohseni, Akshay V. Jagadeesh+1 more|arXiv (Cornell University)|May 19, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 15

ひとこと要約

この論文では、自律走行システムにおけるPilotNetのステアリングホイール角度予測誤差を推定する、サリエンシーマップに基づく障害予測モデルを提案している。主モデルのサリエンシーマップを用いて学生モデルを訓練することで、生画像を用いる場合と比較して、障害予測の精度が向上し、特に急旋回のシナリオにおいて安全性の向上が見られた。

ABSTRACT

While machine learning systems show high success rate in many complex tasks, research shows they can also fail in very unexpected situations. Rise of machine learning products in safety-critical industries cause an increase in attention in evaluating model robustness and estimating failure probability in machine learning systems. In this work, we propose a design to train a student model -- a failure predictor -- to predict the main model's error for input instances based on their saliency map. We implement and review the preliminary results of our failure predictor model on an autonomous vehicle steering control system as an example of safety-critical applications.

研究の動機と目的

• 自律走行車両を含む、安全が求められる機械学習システムにおける障害予測の重要なニーズに対処すること。
• 展開前の障害発生確率を推定することで、モデルの頑健性と信頼性を向上させること。
• サリエンシーマップを入力特徴として用いる、ホワイトボックス型で解釈可能性に裏付けられた障害予測手法の開発。
• サリエンシーマップと生画像の両者を用いたモデル誤差予測の有効性と、走行安全性の向上を評価すること。
• 自律走行システムが障害を起こす可能性がある場合に、運転手に警告を発するフェイルセーフメカニズムの提供。

提案手法

• 事前に訓練済みのPilotNetモデルから知識蒸留を用いて、学生障害予測モデルを訓練する。
• PilotNetおよびレーンシーン入力に特化したVisualBackProp手法を用いてサリエンシーマップを生成する。
• サリエンシーマップを入力特徴として用い、ステアリングホイール角度（SWA）予測の絶対誤差を予測するための障害予測モデルを訓練する。
• Adam最適化手法を用い、学習率1e-5で平均絶対誤差（MAE）損失関数を用いて障害予測モデルを訓練する。
• 定義された非安全閾値下で、誤差予測のMAEと障害検出の真正陽性率の両方を用いて、モデルの性能を評価する。
• 異なるSWA範囲において、サリエンシーマップと生カメラ画像を入力に用いたモデルの障害予測性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 サリエンシーマップは、自律走行システムにおけるモデル行動を的確に表現できるか、その表現が障害予測に有効であるか。
• RQ2 サリエンシーマップを入力に用いた障害予測モデルと、生画像入力に用いたモデルとを比較した場合、PilotNetのステアリング誤差予測においてどちらが優れているか。
• RQ3 障害予測モデルは、衝突が発生する前に高誤差状態を検出することで、走行安全性をどの程度向上できるか。
• RQ4 特に急旋回などの困難な条件下でも、障害予測モデルはさまざまなステアリング角度範囲で高い性能を維持できるか。
• RQ5 異なる入力モodal（サリエンシーマップ対生画像）が、非安全なモデル行動検出における真正陽性率にどのように影響するか。

主な発見

• 生画像を用いたモデルと比較して、サリエンシーマップを入力に用いた障害予測モデルは、PilotNetのステアリング角度誤差予測において顕著に低いMAEを達成した。
• 0°–30°のSWA範囲では、サリエンシーマップベースのモデルは18%の真正陽性率を達成したが、生画像モデルも同様に18%であった。しかし、より高いSWA範囲では、サリエンシーマップモデルが優れた性能を示した。
• 30°–60°のSWA範囲では、サリエンシーマップモデルが56%の真正陽性率を達成したのに対し、生画像モデルは51%であった。
• 60°–90°のSWA範囲では、両モデルとも68%の真正陽性率を達成しており、極端な旋回条件下でも高い信頼性を示した。
• 結果から、サリエンシーマップは、特に複雑な走行シナリオにおいて、生画像入力よりもモデル障害をより効果的に検出できる十分な高レベル表現を含んでいることが示唆された。
• 本研究では、解釈可能性ツール（サリエンシーマップ）がデバッグの目的だけでなく、安全が求められる障害予測システムの信頼できる入力としても再利用可能であることが示された。