[論文レビュー] Learning Driving Models with a Surround-View Camera System and a Route Planner.

Simon Hecker, Dengxin Dai+1 more|arXiv (Cornell University)|Mar 27, 2018

Video Surveillance and Tracking Methods参考文献 68被引用数 12

ひとこと要約

本稿では、360度の周囲視認カメラデータとルートプランナ情報（OpenStreetMapおよびTomTom Mapsから得られるもの）を統合することで、ドライブポリシー学習を向上させるドライブモデルを提案する。パノラマ画像と計画ルート（GPS座標のスタックまたはレンダリングされた動画シーケンスとして表現）を活用することで、単一の前方カメラアプローチと比較して、障害率を顕著に低減する。これは、マルチモーダルな認識とルートに配慮した計画が、ドライブの耐障害性を向上させることを示している。

ABSTRACT

For people, having a rear-view mirror and side-view mirrors is vital for safe driving. They deliver a better view of what happens around the car. Human drivers also heavily exploit their mental map for navigation. Nonetheless, several methods have been published that learn driving models with only a front-facing camera and without a route planner. This lack of information renders the self-driving task quite intractable. Hence, we investigate the problem with a more realistic setting, which consists of a surround-view camera system with eight cameras, a route planner, and a CAN bus reader. In particular, we develop a sensor setup that provides data for a 360-degree view of the area surrounding the vehicle, the driving route to the destination, and the low-level driving maneuvers (e.g. steering angle and speed) by human drivers. With such sensor setup we collect a new driving dataset, covering diverse driving scenarios and varying weather/illumination conditions. Finally, we learn a novel driving model by integrating information from the surround-view cameras and the route planner. Two route planners are exploited: one based on OpenStreetMap and the other on TomTom Maps. The route planners are exploited in two ways: 1) by representing the planned routes as a stack of GPS coordinates, and 2) by rendering the planned routes on a map and recording the progression into a video. Our experiments show that: 1) 360-degree surround-view cameras help avoid failures made with a single front-view camera for the driving task; and 2) a route planner helps the driving task significantly. We acknowledge that our method is not the best-ever driving model, but that is not our focus. Rather, it provides a strong basis for further academic research, especially on driving relevant tasks by integrating information from street-view images and the planned driving routes. Code and data will be made available.

研究の動機と目的

• 単一前方カメラの自律走行システムの限界を克服するため、360度の視認認識とルート計画を統合すること。
• 現実的なドライブデータ収集のため、8台の周囲カメラ、CANバスデータ、およびルートプランナを統合した包括的なセンサセットの開発。
• ルートプランナの出力（GPS座標と地図レンダリング動画）がドライブポリシー学習にどのように寄与するかを調査すること。
• 学術的リサーチを支援するため、さまざまな天候や照明条件下で収集された、多様なドライブデータセットの作成。
• 視認情報とルート計画情報の統合に関する今後の研究の強力なベースラインを確立すること。

提案手法

• 8台のカメラを用いた周囲視認カメラシステムを導入し、車両の周囲を360度で捉える。
• OpenStreetMapおよびTomTom Mapsを用いて、目的地の計画ルートを生成するルートプランナを統合する。
• 計画ルートを2つの形で表現する：GPS座標のスタックと、地図進行の動画シーケンス。
• CANバスを介して人間ドライバーの低レベルな操作（ステアリング角度、速度）のドライブデータを収集する。
• 周囲視認画像からの視覚特徴とルートプランナの入力を統合するドライブモデルを学習し、ドライブ行動を予測する。
• GPSベースのルートシーケンスと動画ベースの地図進行を、入力モodalとして用い、ルートプランナ統合の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 360度の周囲視認カメラシステムは、単一前方カメラと比較して、ドライブ障害率を低減できるか？
• RQ2 ルートプランナ情報の統合は、学習されたドライブポリシーのパフォーマンスをどのように向上させるか？
• RQ3 ルート情報の表現方法として、GPS座標のスタックとレンダリングされた地図動画のどちらが、より優れたドライブポリシー性能をもたらすか？
• RQ4 カメラとルートプランナのマルチモーダル入力は、多様なドライブ条件下での耐障害性をどの程度向上させるか？
• RQ5 本稿で提示されたシステムは、前方カメラに依存する従来手法と比較して、どのように異なるか？

主な発見

• 360度の周囲視認カメラシステムは、単一前方カメラの設定と比較して、複雑なドライブシナリオにおける障害率を顕著に低減した。
• ルートプランナ情報の統合により、ドライブポリシーのパフォーマンスが著しく向上し、ナビゲーションにおけるその価値が示された。
• GPS座標のスタックとルートプランナから得られるレンダリング動画の両方が、ドライブポリシー学習を改善したが、本稿では相対的な有効性を定量的に順位付けしていない。
• 豊富な視認情報とルート情報のおかげで、本稿のシステムは、天候や照明の変化にかかわらず、多様なドライブ条件下で一般化可能である。
• 本稿で提示されたデータセットとコードは、自律走行における統合的視認とルート計画アプローチに関する今後の学術的リサーチを支援するため公開された。
• 本手法は、パフォーマンス面で最先端ではないものの、今後の研究の強力で実用的な基盤を提供する。