[論文レビュー] Practical Solutions for Machine Learning Safety in Autonomous Vehicles

Sina Mohseni, Mandar Pitale+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用数 51

ひとこと要約

本論文は自動運転車における実用的な機械学習の安全技術をレビューし、それらをISO 26262/SOTIFのギャップに対応づけ、依存性を高めるためのエラーディテクターとロバストネス戦略を検討する。

ABSTRACT

Autonomous vehicles rely on machine learning to solve challenging tasks in perception and motion planning. However, automotive software safety standards have not fully evolved to address the challenges of machine learning safety such as interpretability, verification, and performance limitations. In this paper, we review and organize practical machine learning safety techniques that can complement engineering safety for machine learning based software in autonomous vehicles. Our organization maps safety strategies to state-of-the-art machine learning techniques in order to enhance dependability and safety of machine learning algorithms. We also discuss security limitations and user experience aspects of machine learning components in autonomous vehicles.

研究の動機と目的

• 自動運転車におけるMLへ適用時のISO 26262およびISO/PAS 21448（SOTIF）のギャップを特定する。
• 従来のソフトウェア安全性を補完する実用的な機械学習安全技術を整理する。
• ML安全技術を信頼性向上のエンジニアリング安全戦略へマッピングする。
• 具体的な実装を提示し、未解決の課題と今後の方向性を議論する。

提案手法

• エラーデテクターとモデルのロバストネスに関する機械学習安全性研究を調査する。
• 安全戦略（Safe Fail、Safety Margins）に合わせて技術を整理する。
• 安全クリティカルな自動運転車アプリケーション向けの3つの実用的な実装を説明する。
• 実行時モニタリング、不確実性推定、OOD検出方法を検討する。
• これらの技術が設計仕様、透明性、テスト、および性能/ロバストネスのギャップにどのように対処するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 自動運転車のMLコンポーネントにおけるISO 26262とSOTIFの主な安全性ギャップは何か？
• RQ2 既存のエンジニアリング安全基準を補完する実用的なML安全技術は何か？
• RQ3 ML安全技術を確立された安全戦略（例：Safe Fail、Safety Margins）にどうマッピングできるか？
• RQ4 安全 critical AVアプリケーションにおけるMLの安全なデプロイを示す具体的実装は何か？
• RQ5 自動運転におけるML安全性の未解決課題と今後の方向性は何か？

主な発見

• ML特性と伝統的なソフトウェア安全基準との間にはギャップが存在し、特に設計仕様、透明性、テスト、オープンワールド条件下での性能において顕著である。
• 不確実性推定と実行時エラーデテクターは、自動運用システムにおける安全フェイル動作を有効にできる。
• OOD/未知サンプル検出とドメイン一般化技術は分布シフトに対するロバストネスを向上させる。
• 汚染、摂動、敵対的入力に対するロバストネスはML部品の安全マージンを高める。
• 実用的な実装は、モニタリングと拒否機構をAVパイプラインに統合する方法を示している。