[論文レビュー] Vision-based Navigation of Autonomous Vehicle in Roadway Environments with Unexpected Hazards

Mhafuzul Islam, Mahsrur Chowdhury+2 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning参考文献 39被引用数 3

ひとこと要約

本論文は、物体検出とセマンティックセグメンテーションを統合することで、破片や路路障害物などの予期しない道路標高物を検出し、対応するDNNベースのビジョンシステムを提案し、自律走行車両の安全性を向上させている。本システムは、現実世界の障害物に起因する敵対的と類似した摂動を軽減することで、標準的なDNNアプローチと比較してナビゲーション障害を21%削減した。

ABSTRACT

Vision-based navigation of autonomous vehicles primarily depends on the Deep Neural Network (DNN) based systems in which the controller obtains input from sensors/detectors, such as cameras and produces a vehicle control output, such as a steering wheel angle to navigate the vehicle safely in a roadway traffic environment. Typically, these DNN-based systems of the autonomous vehicle are trained through supervised learning; however, recent studies show that a trained DNN-based system can be compromised by perturbation or adversarial inputs. Similarly, this perturbation can be introduced into the DNN-based systems of autonomous vehicle by unexpected roadway hazards, such as debris and roadblocks. In this study, we first introduce a roadway hazardous environment (both intentional and unintentional roadway hazards) that can compromise the DNN-based navigational system of an autonomous vehicle, and produces an incorrect steering wheel angle, which can cause crashes resulting in fatality and injury. Then, we develop a DNN-based autonomous vehicle driving system using object detection and semantic segmentation to mitigate the adverse effect of this type of hazardous environment, which helps the autonomous vehicle to navigate safely around such hazards. We find that our developed DNN-based autonomous vehicle driving system including hazardous object detection and semantic segmentation improves the navigational ability of an autonomous vehicle to avoid a potential hazard by 21% compared to the traditional DNN-based autonomous vehicle driving system.

研究の動機と目的

• 予期しない道路標高物（意図的および不意のもの）が自律走行車両のDNNベースのナビゲーションにどのように悪影響を及えるかを特定すること。
• 現実世界の障害物（破片や路路障害物など）によって引き起こされる摂動に対して、標準的なDNNベースのシステムがどれほど脆弱であるかを分析すること。
• 深層学習を用いて危険な環境を検出し、それに適応する耐障害性の高いビジョンベースのナビゲーションシステムを開発すること。
• 動的で予測不能な道路状況下における自律走行車両のナビゲーションの安全性と信頼性を向上させること。

提案手法

• 本システムは、カメラ入力を用いてエンドツーエンドの車両制御を実行するための深層ニューラルネットワーク（DNN）アーキテクチャを採用している。
• 物体検出を用いて、破片、くぼみ、障害物などの危険な物体をリアルタイムで同定している。
• セマンティックセグメンテーションを適用して、道路領域を分類し、走行可能な領域と障害物を区別している。
• DNNは、物体検出とセグメンテーションの出力を統合し、不確実な条件下でもより安全なステアリング命令を生成している。
• モデルは、ラベル付きの障害物とセマンティッククラスを含む道路シーンのデータセットを用いて教師あり学習で訓練されている。
• システムはシミュレーションおよび実世界のシナリオで評価され、予期しない障害物状況下でのナビゲーション成功度が測定されている。

実験結果

リサーチクエスチョン

• RQ1 破片や路路障害物などの予期しない道路標高物が、DNNベースの自律走行車両ナビゲーションシステムの性能にどのように影響を与えるか。
• RQ2 物体検出とセマンティックセグメンテーションが、危険な環境下でのDNNベースのナビゲーションの耐障害性をどの程度向上できるか。
• RQ3 標準データで訓練されたDNNベースのシステムが、再トレーニングなしで現実世界の障害物によって引き起こされる敵対的と類似した摂動を処理できるか。
• RQ4 物体検出とセグメンテーションを統合することで、自律走行車両制御におけるナビゲーション安全性にどの程度の測定可能な向上が得られるか。

主な発見

• 物体検出とセマンティックセグメンテーションを統合した本提案DNNベースのシステムは、危険な環境下で、従来のDNNシステムと比較してナビゲーション障害を21%削減した。
• システムは、破片や路路障害物などの予期しない障害物を正常に検出し、誤ったステアリング意思決定を防ぐことができた。
• セマンティックセグメンテーションは、走行可能な表面と障害物を区別する能力を顕著に向上させ、経路計画の質を高めた。
• モデルは、現実世界の障害物によって誘発される敵対的攻撃に類似した摂動に対しても耐性を示した。
• 検出とセグメンテーションの統合により、不確実な道路状況下でも、より正確で安全な制御出力が得られた。
• 本システムは、多様で動的な交通シナリオにおいても高い性能を維持しており、優れた一般化能力を示した。