[論文レビュー] End-to-end Multi-Modal Multi-Task Vehicle Control for Self-Driving Cars with Visual Perception

Zhengyuan Yang, Yixuan Zhang+3 more|arXiv (Cornell University)|Jan 20, 2018

Autonomous Vehicle Technology and Safety参考文献 17被引用数 40

ひとこと要約

この論文は、前方ビュー画像と以前の速度から、ステアリング角と速度（離散的な速度指令と連続的な速度値を含む）を共同推定するマルチモーダル・マルチタスク ネットワークを提案し、Udacityと新しいSAICデータセットで評価を行い、データ合成手法を用いて実道路試験における誤差蓄積を緩和する。

ABSTRACT

Convolutional Neural Networks (CNN) have been successfully applied to autonomous driving tasks, many in an end-to-end manner. Previous end-to-end steering control methods take an image or an image sequence as the input and directly predict the steering angle with CNN. Although single task learning on steering angles has reported good performances, the steering angle alone is not sufficient for vehicle control. In this work, we propose a multi-task learning framework to predict the steering angle and speed control simultaneously in an end-to-end manner. Since it is nontrivial to predict accurate speed values with only visual inputs, we first propose a network to predict discrete speed commands and steering angles with image sequences. Moreover, we propose a multi-modal multi-task network to predict speed values and steering angles by taking previous feedback speeds and visual recordings as inputs. Experiments are conducted on the public Udacity dataset and a newly collected SAIC dataset. Results show that the proposed model predicts steering angles and speed values accurately. Furthermore, we improve the failure data synthesis methods to solve the problem of error accumulation in real road tests.

研究の動機と目的

• エンドツーエンドの車両制御を、ステアリング角だけでなく速度を共同推定することで動機づける。
• 初期は離散的な速度指令を予測できるマルチタスクフレームワークを開発し、速度値への精練を行う。
• prior feedback speeds を追加モダリティとして取り入れ、速度とステアリングの予測精度を向上させる。
• Udacityと新たに収集したSAICデータセット（日夜の走行）で収集・評価を行う。
• 現実世界の道路試験での誤差蓄積を緩和するためのデータ合成を検討する。

提案手法

• エンドツーエンドのステアリング角予測のために、より大きなカーネルと1:1 入力アスペクト比を持つ基本CNNモデルを提案する。
• 画像系列から加速・減速・速度維持を予測する離散的な速度指令ネットワークを導入し、時間的文脈のためにLSTMを使用する。
• 視覚特徴と速度特徴を結合してステアリング角と速度の両方を予測する、速度エンコーダ（ prior speeds 用）を追加したマルチモーダル・マルチタスクネットワークを開発する。
• ステアリング角には平均絶対誤差（MAE）を、離散的な速度指令にはクロスエントロピーを、タスク間の重み付き結合損失を用いる。
• HSV 色空間変換、小さな回転、水平反転、サイドカメラデータ合成を含むデータ増強を適用し、失敗ケースを生成する。
• UdacityとSAICデータセットで評価し、PilotNetや他のベースラインと比較し、誤差蓄積に対処するための拡張データ合成を道路試験で実施する。

実験結果

リサーチクエスチョン

• RQ1 視覚入力から、エンドツーエンドの学習でステアリング角と速度（離散的な指令および/または連続値）を同時に予測できるか。
• RQ2 前のフィードバック速度を追加モダリティとして取り入れると、ステアリングと速度の予測精度は向上するか。
• RQ3 提案するマルチモーダル・マルチタスクネットワークは、単一タスクまたは純粋に視覚ベースのステアリングモデルと比べて標準的な走行データセットでどう比較されるか。
• RQ4 データ増強と失敗ケース合成戦略は、現実世界での頑健性と道路試験での誤差蓄積の低減にどう寄与するか。
• RQ5 新規収集データセットSAIC（日夜走行）は、モデルの性能と一般化能力にどう影響するか。

主な発見

Model / Dataset	Angle (MAE in degree)	Speed MAE (m/s)
Nvidia’s PilotNet	4.26
Cg Network	4.18
Base Steering Model	2.84
Discrete Speed Command Network	1.85
Multi-modal Multi-task Network	1.26
Udacity		0.19
SAIC		0.45

• ステアリング角 MAE: マルチモーダル・マルチタスクネットワークは、基礎モデルおよび離散的速度モデルの改善後、Udacity で 1.26 度を達成。
• 基礎ステアリングモデルは MAE 2.84 度を達成し、評価設定で PilotNet およびより単純な Cg Network を上回る。
• 離散的速度指令ネットワークは、離散指令を予測する際のステアリングで 1.85 度 MAE を達成し、共同学習の利点を示唆。
• 速度値予測 MAE: マルチモーダル・マルチタスクネットワークで Udacity が 0.19 m/s、SAIC が 0.45 m/s。
• 速度値とステアリング角の予測は、前の速度を追加入力モダリティとして使用すると改善する。
• SAIC データセットには日夜の走行が含まれ、トレーニング/検証/テスト用にフィルタリング後の2時間のデータを使用。
• 道路試験ではデータ増強と合成失敗ケースが誤差蓄積を緩和し、試験条件下で自動運転を可能にすることを示す。