[論文レビュー] Two-stream convolutional networks for end-to-end learning of self-driving cars

Nelson Fernández|arXiv (Cornell University)|Nov 13, 2018

Autonomous Vehicle Technology and Safety参考文献 13被引用数 10

ひとこと要約

本論文は、原始画像からの空間的特徴と光流から得られる時間的特徴を統合して、エンドツーエンドの自己走行車のステアリング予測を改善する二本のストリームで構成される2次元畳み込みニューラルネットワーク（2D-CNN）アーキテクチャを提案する。以前のステアリング角度を補助タスクとして用いるマルチタスク学習により、Comma.ai データセットにおいてベースライン回帰手法に比べて精度と安定性が30%向上し、ホワイトネスは4.97度/秒まで低下した—これは人間の運転行動に近づいたことを示している。

ABSTRACT

We propose a methodology to extend the concept of Two-Stream Convolutional Networks to perform end-to-end learning for self-driving cars with temporal cues. The system has the ability to learn spatiotemporal features by simultaneously mapping raw images and pre-calculated optical flows directly to steering commands. Although optical flows encode temporal-rich information, we found that 2D-CNNs are prone to capturing features only as spatial representations. We show how the use of Multitask Learning favors the learning of temporal features via inductive transfer from a shared spatiotemporal representation. Preliminary results demonstrate a competitive improvement of 30% in prediction accuracy and stability compared to widely used regression methods trained on the Comma.ai dataset.

研究の動機と目的

• 1. 自動運転における1フレーム回帰の限界を解消するため、時間的ダイナミクスを統合すること。
• 2. 2D-CNNがエンドツーエンドのステアリング予測のため、光流表現から時間的特徴を効果的に学習できるかどうかを調査すること。
• 3. 陽的な転送を通じて時間的一般化を向上させるために、マルチタスク学習の有効性を評価すること。
• 4. 提案された二本のストリームアーキテクチャを、Comma.ai データセット上での最先端の2D-CNN回帰モデルと比較してベンチマークすること。
• 5. 要素ごとの乗算による共有された空間時間的表現が、特徴統合と予測安定性を向上させることを示すこと。

提案手法

• 1. 2つの同一の2D-CNNブランチを用いる：一方は空間的特徴を抽出するためのRGB画像を処理し、他方は時間的運動の手がかりを提供する事前に計算された光流を処理する。
• 2. 各ストリームの最終畳み込み層にグローバル平均プーリングを適用し、パラメータを削減し、過学習を防ぐ。
• 3. 2つのストリームの埋め込みを要素ごとの乗算により統合し、共有された空間時間的表現を生成する。
• 4. 線形出力を備えた多層パーセプトロン（MLP）を用いて回帰を行い、現在のステアリング角度を予測する。
• 5. マルチタスク学習を採用し、現在のステアリング角度に加え、以前のステアリング角度の予測も行う。ただし、後者は訓練時でのみ使用される。
• 6. 二段階の訓練戦略を採用する：まず、各ストリームを独立して事前学習し、次に、最終の回帰ヘッドに焦点を当てて、ネットワーク全体をファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 1. エンドツーエンドの自己走行システムにおいて、2D-CNNが光流表現から時間的特徴を効果的に学習できるか？
• RQ2 2. 共有された空間時間的表現による空間的・時間的ストリームの統合が、回帰の精度と安定性を向上させるか？
• RQ3 3. 以前のステアリング角度を補助タスクとして用いるマルチタスク学習が、時間的一般化をどの程度向上させるか？
• RQ4 4. 提案された二本のストリームアーキテクチャは、原始画像または光流のみで学習した単一ストリーム2D-CNNに比べて、性能で優れているか？
• RQ5 5. 光流とマルチタスク学習の使用が、予測バイアスを低減させ、ステアリングコマンドのホワイトネス（時間的滑らかさ）を向上させるか？

主な発見

• 1. 二本のストリーム畳み込みネットワークは、Comma.ai テストセットにおいてRMSEが12.52度を達成し、ベースライン回帰手法に比べて30%の精度向上を達成した。
• 2. モデルのホワイトネスは4.97度/秒まで低下し、人間ドライバーのホワイトネス（4.36度/秒）に非常に近づいた。これは、より滑らかなステアリング予測を示している。
• 3. 光流のみで学習した場合、原始画像での学習に比べて30%の精度向上（RMSE 14.21 vs. 20.55）を達成したが、ホワイトネスは向上しなかった。これは空間的特徴のみの学習であることを示している。
• 4. 提案されたアーキテクチャは、Comma.aiの2D-CNN（RMSE 23.99）やNvidia PilotNet（RMSE 20.55）といった最先端モデルを上回った。
• 5. 以前のステアリング角度を補助タスクとして用いるマルチタスク学習により、インダクティブトランスファーが可能になり、時間的バイアスが是正され、安定性が向上した。
• 6. 散布図分析により、二本のストリームモデルが単一ストリームモデルに比べて、空間的および時間的次元におけるバイアスを低減していることが確認された。