[論文レビュー] The NVIDIA PilotNet Experiments

Mariusz Bojarski, Chenyi Chen+23 more|arXiv (Cornell University)|Oct 17, 2020

Autonomous Vehicle Technology and Safety参考文献 9被引用数 12

ひとこと要約

本論文では、ライダー、レーダー、地図を一切使用せずに、1台の前方カメラのみを用いて自律走行を実現する深層ニューラルネットワーク（DNN）ベースのシステム、PilotNetを提案する。このシステムは、生のピクセルを直接車両の軌道指令にマッピングし、平均して人間の介入を伴わず500 kmの高速道路走行を達成した。これは、自律走行におけるエンドツーエンド学習の実現可能性を示している。

ABSTRACT

Four years ago, an experimental system known as PilotNet became the first NVIDIA system to steer an autonomous car along a roadway. This system represents a departure from the classical approach for self-driving in which the process is manually decomposed into a series of modules, each performing a different task. In PilotNet, on the other hand, a single deep neural network (DNN) takes pixels as input and produces a desired vehicle trajectory as output; there are no distinct internal modules connected by human-designed interfaces. We believe that handcrafted interfaces ultimately limit performance by restricting information flow through the system and that a learned approach, in combination with other artificial intelligence systems that add redundancy, will lead to better overall performing systems. We continue to conduct research toward that goal. This document describes the PilotNet lane-keeping effort, carried out over the past five years by our NVIDIA PilotNet group in Holmdel, New Jersey. Here we present a snapshot of system status in mid-2020 and highlight some of the work done by the PilotNet group.

研究の動機と目的

• 手動で設計されたモジュールやインターフェースを排除し、自律走行のためのエンドツーエンドのディープラーニングシステムを開発すること。
• 1つの統合DNNが、複雑な走行シナリオにおいて、モジュール型のルールベースシステムを上回ることのできるかを調査すること。
• データのキュレーション、シミュレーション、自動テストパイプラインを通じて、システムの耐障害性と安全性を向上させること。
• シミュレーションベースのトレーニングにおける限界を理解し、実世界での性能低下の根本原因を同定すること。
• 大規模な自律走行車両開発に適したスケーラブルなソフトウェアおよびインfra構築手法を確立すること。

提案手法

• マルチレイヤーの畳み込みニューラルネットワークが、前方カメラからの生のRGB画像を処理し、車両の軌道とレーン境界を予測する。
• 人間がアノテートしたステアリング指令を含む、実世界の走行映像を大規模にキュレーションしたデータセットを用いてトレーニングを実施する。
• 実際の映像記録に基づく高精細なシミュレーション環境を活用し、実走行への導入前にネットワークの性能を検証・テストする。
• NVIDIA DRIVE AGXプラットフォーム上で、大規模なGPUリソースクラスタを分散して使用する自動化されたソフトウェアパイプラインによりトレーニングを実行する。
• 車両内でのモニタリングツールにより、安全運転監視者がテスト中におけるリアルタイムの軌道予測を観察できる。
• 継続的インテグレーション（CI）と自動ユニットテストを導入し、大規模開発チームにおけるレグレッションの防止とコード品質の維持を確保する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープニューラルネットワークは、自律走行における従来のモジュール型アーキテクチャを置き換えることができるか？
• RQ2 シミュレーション最適化済みのモデルを実世界に展開した場合、性能がどのように低下するか？
• RQ3 データ品質とキュレーションが、強固な自律走行性能を達成するために果たす役割は何か？
• RQ4 自動テストおよび可視化ツールは、複雑なDNNシステムにおける隠れたバグを検出するためにどのように役立つか？
• RQ5 DNNベースの自律走行システムをスケーリングするには、どのようなインfra構築および開発手法が必要か？

主な発見

• PilotNetは、前方カメラを1台のみ使用して、平均して人間の介入を伴わず500 kmの高速道路走行を達成した。
• このシステムは、エンドツーエンド学習が、ライダー、レーダー、地図に依存せずに高性能な自律走行を実現できることを示した。
• トレーニングにおける性能の飽和は、しばしば汚染されたり低品質なトレーニングデータに起因しており、データクリーニングの重要性が浮き彫りになった。
• シミュレーションベースの最適化により、分布シフトが原因で実世界での性能が低下したが、根本原因分析によりデータアーティファクトが特定され、是正された。
• 可視化ツールと学習曲線は、トレーニング中の隠れたバグの検出や性能ボトルネックの同定に不可欠であった。
• 自動化されたCIおよびコードレビュープロセスは、大規模開発チームにおけるコード品質の維持とレグレッションの防止に不可欠であった。