[論文レビュー] Explaining How a Deep Neural Network Trained with End-to-End Learning Steers a Car

Mariusz Bojarski, Philip Yeres+5 more|arXiv (Cornell University)|Apr 25, 2017

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 242

ひとこと要約

本論文はPilotNetをエンドツーエンドのCNNによる操舵とし、操舵決定に最も影響を与える画像領域を識別する顕性視覚化手法を導入し、PilotNetが意味ある道路の手がかりを学習していることを示す。

ABSTRACT

As part of a complete software stack for autonomous driving, NVIDIA has created a neural-network-based system, known as PilotNet, which outputs steering angles given images of the road ahead. PilotNet is trained using road images paired with the steering angles generated by a human driving a data-collection car. It derives the necessary domain knowledge by observing human drivers. This eliminates the need for human engineers to anticipate what is important in an image and foresee all the necessary rules for safe driving. Road tests demonstrated that PilotNet can successfully perform lane keeping in a wide variety of driving conditions, regardless of whether lane markings are present or not. The goal of the work described here is to explain what PilotNet learns and how it makes its decisions. To this end we developed a method for determining which elements in the road image most influence PilotNet's steering decision. Results show that PilotNet indeed learns to recognize relevant objects on the road. In addition to learning the obvious features such as lane markings, edges of roads, and other cars, PilotNet learns more subtle features that would be hard to anticipate and program by engineers, for example, bushes lining the edge of the road and atypical vehicle classes.

研究の動機と目的

• 前方カメラ画像からのエンドツーエンドCNNを示し、人間が運転したデータで学習。
• PilotNetの操舵決定を駆動する画像領域を識別する、シンプルで高速な顕性手法を開発。
• 学習された特徴が人間の運転手の手掛かりと一致し、非自明で有益な道路要素を明らかにすることを示す。

提案手法

• PilotNetのアーキテクチャ（9層：正規化、5つの畳み込み、3つの全結合）と入力前処理（YUVチャンネル）。
• データ収集車の画像-操舵対を使用してエンドツーエンドで訓練し、オフセンター/向きのシフトを模したデータ拡張を適用。
• 高レベル特徴マップから入力画像へ活性化を伝搬させて視覚化マスクを作成する顕性視覚化アルゴリズムを導入。
• 視覚化マスクを入力画像に重ね合わせ、操舵に影響を与える顕性オブジェクトを特定。
• 摂動テストで顕性領域を変位させて操舵の変化を観察し、顕性領域の有用性を検証。

実験結果

リサーチクエスチョン

• RQ1 路面画像のどの領域がPilotNetの操舵出力に最も影響を与えるのか？
• RQ2 学習された顕性領域は意味のある運転手の手掛かり（車線、路肩、他の車両）に対応しているのか？
• RQ3 顕性視覚化はPilotNetが明示的に組み込まれていない微妙な特徴を明らかにできるのか？
• RQ4 摂動実験は顕性領域が視覚化で予測されるとおり操舵を制御することを確認できるか？
• RQ5 エンドツーエンド学習は手工設計ルールと比較して、ネットワークが注目する場所にどのような影響を与えるか？

主な発見

• PilotNetは車線 markings, 道路の縁, 他の車などの関連する路面物体を識別できるように学習する。
• 顕性視覚化は、路肩の茂みや人間が手動でコードしない可能性のある車両クラスなど、追加の特徴を明らかにする。
• 顕性領域だけを移動させても、全体の画像を移動させるのと同様に操舵に顕著な変化をもたらす一方、非顕性領域を移動させても影響は小さい。
• PilotNetの注意パターンは人間の運転手の手掛かりと一致しており、それによって決定に対する信頼性を支持する。
• この視覚化手法はほぼピクセルレベルの洞察を、車載モニタリングに適した高速な実行で提供する。